조사기관 편향성 논란…명확한 판단 기준 無
가상번호, 신뢰도와 맞바꾼 '응답자 피로'
여론조사는 정치의 '성적표'로 불린다. 선거를 앞두고 유권자의 선택을 가늠하는 가장 객관적인 지표처럼 소비되지만, 이 성적표가 언제나 정답을 말해주지는 않는다. 숫자는 중립적으로 보이지만, 그 숫자가 만들어지는 과정에는 조사 방식과 응답률·표본 구성· 조사기관의 성향까지 복잡하게 얽혀 있다. 채점 방식부터 다시 들여다봐야 한다는 지적이 나오는 이유다. <편집자주>
[더팩트ㅣ김시형 기자] 선거를 앞두고 발표되는 여론조사를 보면 '누가 앞선다'는 결론은 제각각이다. 어떤 조사에서는 후보 간 격차가 한 자릿수에 그치지만, 다른 조사에서는 두 자릿수까지 벌어지면서 조사 결과의 신뢰성 자체를 둘러싼 논란도 반복돼 왔다.
여론조사 결과가 엇갈리는 원인으로는 조사방법·유무선 비율·표본 구성 차이가 꼽힌다.특히 자동응답시스템(ARS)과 조사원이 직접 질문하는 전화면접(CATI) 방식은 응답률에서 뚜렷한 차이를 보이며, 이로 인한 표본 왜곡 가능성이 결과를 갈라놓는 주요 요인으로 지목된다.
◆ARS의 구조적 한계…과대표집되는 '고관여층'
정치에 관심이 많고 의견이 분명한 '고관여층'이 ARS 조사에 상대적으로 많이 응답하면서 결과가 한쪽으로 쏠릴 가능성이 크다는 지적이 나온다.
한국정당학회보(2022)에 실린 연구에 따르면, ARS 조사 비율이 높을수록 주요 정당 지지율은 과대 추정되고 무당파 비율은 과소 추정되는 경향이 나타났다. 특히 응답률이 낮을수록 왜곡은 더욱 두드러졌다.
김미현 알앤써치 소장은 "정치 고관여층은 조사 참여 의지가 강해 전화가 끊겼거나 부재중이면 다음날 직접 회사로 연락해 참여 의사를 밝히는 경우도 있다"고 설명했다.
한국조사연구학회의 또다른 연구는 ARS 방식이 젊은 연령대, 특히 여성 표집에 취약하다는 점을 지적하며 "현행 ARS 기반 여론조사는 구조적 한계를 지닌다"고 평가했다.
정한울 한국사람연구원 원장은 "응답률이 낮다는 건 태도가 강한 사람들만 과대 표집된다는 뜻"이라며 "중도·무당파 비율이 실제보다 적게 잡히면서 바이어스(편향)가 발생한다"고 말했다.
다만 표본 왜곡 문제는 ARS에만 국한된 것은 아니라는 반론도 있다. 한 여론조사 기관 대표는 "전화면접 역시 응답자가 연령이나 직업을 다르게 말하더라도 조사원이 설문지 이외의 질문을 하게 되면 선거법 위반이 되니 이를 검증할 방법이 없다"며 "조사 방식만으로 신뢰도를 단정하기는 어렵다"고 지적했다.
◆'기관 효과'라는 또 다른 변수, 질문 편향까지
조사 방식뿐 아니라 어느 기관이 조사를 수행했는지도 결과에 영향을 미친다. 이른바 '하우스 임팩트'다. 익명을 요청한 한 여론조사 기관 관계자는 "특정 기관 조사만 유독 튀는 결과를 보일 때가 문제"라며 "조사기관이 스스로 진보·보수 성향을 드러내는 경우가 점점 더 많아지고 있는데, 이 때마다 응답자들의 자기선별이 발생한다"고 말했다.
보수 성향 유권자는 특정 진보 성향으로 인식되는 기관의 전화를 끊고, 진보 성향 유권자는 반대 기관의 전화를 거부하는 식이다. 그는 "이런 상황에서는 조사 결과의 대표성과 신뢰성이 크게 훼손될 수밖에 없다"고 지적했다.
질문 설계 자체에 내재된 편향도 문제로 지적된다. 정 원장은 "질문 표현이 미묘하게 달라지면 응답 결과도 달라질 수 있다"며 "질문 설계 단계에서의 편향 가능성 역시 간과하기 어렵다"고 말했다.
그는 "유권자들 사이에 조사기관에 대한 인식이 어느 정도 형성돼 있겠지만, 편향된 기관이라는 걸 판단할 명확한 기준이 없다는 점이 문제"라며 "방법론적인 왜곡에 대한 규제 말고는 규제할 방법이 없어 시장에서 알아서 자정작용을 통해 걸러내는 방법밖엔 없다"고 덧붙였다.
◆가상번호, 신뢰도와 맞바꾼 '응답자 피로'
여론조사 업계에서는 휴대전화 가상번호 활용이 표본 대표성 논란을 보완할 현실적인 대안으로 거론된다. 무작위 전화걸기(RDD) 방식보다 성별·연령·지역별 할당이 가능한 가상번호 표본을 활용하는 기관이 늘고 있다.
여론조사기관은 성별·연령·지역별 표본 추출을 위해 중앙선거관리위원회에 가상번호 발급을 신청하고, 이를 거쳐 이동통신사로부터 번호를 구매하는 방식으로 조사를 진행한다. 이동통신사가 여론조사기관에 제공한 가상번호는 2020년부터 최근 5년간 약 8700만 건에 달한다.
김미현 소장은 "과거에는 유선전화, 이후에는 휴대전화 RDD 방식으로 넘어왔지만 각각 한계가 드러났다"며 "현재로서는 가상번호 방식이 대표성을 가장 잘 보완할 수 있는 수단"이라고 말했다. 그는 "가상번호를 활용하면 조사기관이 응답자의 실제 번호를 알지 못하더라도 연령·성별·지역 정보는 확인할 수 있어 신뢰도가 높아진다"고 설명했다.
다만 부재중 시 같은 번호로 수차례 전화를 거는 구조가 응답자 피로도를 키우면서, 여론조사 전반에 대한 불신을 낳고 신뢰도 저하로 이어진다는 비판도 나온다.
특히 고령층에 비해 20~30대의 응답률이 낮아, 할당량을 맞추기 위한 반복 호출이 불가피한 구조라는 점도 한계로 꼽힌다. 이와 함께 알뜰폰 이용자가 표본에서 배제될 수 있어 특정 집단이 조사에서 제외될 가능성도 지적된다.
김 소장은 "부재중이거나 통화 중인 번호는 응답할 때까지 반복 호출하게 된다"며 "어떤 지역은 한 번호에 6번 이상 전화를 거는 경우도 있다"고 말했다. 이어 "항의와 욕설 전화가 쏟아지지만, RDD 방식보다 신뢰도가 높아 비용이 조금 높아도 가상번호를 선택할 수밖에 없다"고 덧붙였다.
이에 업계에서는 현행 30배수인 표본 기준을 40배수 이상으로 늘려야 한다는 요구도 나온다. 그는 "조사 기간이 이틀로 제한된 상황에서 응답률을 확보하려면 배수 확대가 불가피하다"며 "비용 부담은 커지지만, 현재로선 가장 현실적인 대안"이라고 평가했다.
- 발로 뛰는 <더팩트>는 24시간 여러분의 제보를 기다립니다.
- · 카카오톡: '더팩트제보' 검색
- · 이메일: jebo@tf.co.kr
- · 뉴스 홈페이지: https://talk.tf.co.kr/bbs/report/write
- · 네이버 메인 더팩트 구독하고 [특종보자→]
- · 그곳이 알고싶냐? [영상보기→]
