두 조사에는 어떤 차이가 있을까요?
우선 질문에 대한 보기부터 보겠습니다.

A조사는 21명이 보기로 제시됐는데요. 이 가운데 범 진보권 후보가 7명, 범 보수권 후보는 14명입니다.
B조사의 보기는 10명입니다. 범 진보권, 범 보수권 후보가 각각 5명씩입니다.
A조사는 보기 항목이 B조사의 2배가 넘습니다. 후보가 많다보니 지지율도 분산되겠죠. 특히 A조사는 범 보수권 후보들이 범 진보권 후보의 2배여서 상대적으로 표를 더 나눠가질 수밖에 없습니다.


▶ 언제 여론조사를 했는지 확인하기
A조사는 2021년 8월 12일부터 14일까지 사흘간, B조사는 8월 13일과 14일 이틀간 진행됐습니다.
이 두 조사는 거의 비슷한 시기에 이뤄졌는데요. 서로 다른 날짜에 이뤄진 여론조사가 있다면 각각의 조사 기간에 여론조사 결과에 큰 영향을 미칠 수 있는 사건은 없었는지 따져볼 필요가 있습니다. 가령 큰 화재가 발생해 많은 사람이 다쳤는데 정부의 부실한 안전 관리 때문이라는 것이 드러났다고 해보죠. 

대통령의 국정 수행 평가를 묻는 여론조사를 실시했을 경우, 화재 발생 전과 화재 발생 후 여론조사 결과는 상당한 차이가 있을 수 있습니다.


▶ 여론조사에 몇 명이 응답했을까?

두 조사는 전국의 만 18세 이상 성인 남녀를 대상으로 했는데 A가 1,000명, B가 1,007명으로 비슷합니다.
중앙선거여론조사심의위원회는 선거 여론조사에서 표본의 대표성을 확보하기 위한 최소한의 표본 수를 확보하도록 하고 있는데요.
대통령 선거 또는 전국단위 여론조사는 1,000명 이상을, 광역단체장 선거나 시·도 단위 조사는 800명, 지역구 국회의원 선거 또는 자치구·시·군 단위 조사는 500명, 지역구 지방의회의원 선거는 300명을 최소한의 표본 크기로 정하고 있습니다.


▶ 어떤 조사 방식을 사용했나

A조사는 전화면접으로, B조사는 ARS로 이뤄졌습니다.
조사방식에 따라 응답률은 21.3%, 6.9%로 나타났네요.

여론조사는 조사방식에 따라 다르게 나올 수 있습니다. 실제 정당 지지도에 대한 여론조사에서 조사방식을 달리했더니 일부 정당의 지지도 순서가 뒤바뀌었다는 얘기를 여론조사업체 관계자에게 듣기도 했습니다.

여론조사 방식에는 대면조사, 전화 면접, ARS, 인터넷 조사, 스마트폰 앱 조사, 우편 조사 등이 있는데요. 대표적인 전화 면접과 ARS를 비교해보겠습니다.

 - 전화면접과 ARS의 차이 -
전화 면접은 면접원이 조사 대상과 직접 대화를 하면서 조사를 진행합니다. 

면접원이 조금만 시간을 내서 협조해달라는 말에 거절하고 끊는 분도 있겠지만 간곡히 부탁을 하면 매정하게 전화를 끊기란 쉽지 않습니다.
조사에 별 관심이 없는 사람도 면접원에게 미안해서 끝까지 전화를 받게 되는 경우도 있을 것입니다. 그래서 응답률은 ARS보다 상대적으로 높습니다. 하지만 면접원에게 직접 대답을 하다 보니 내가 누구를 지지하는지, 진짜 속마음을 밝히기 꺼리는 경향도 있습니다.

ARS는 기계음을 듣고 응답하는 방식인데요. 그러다 보니까 조사 대상자들이 전화를 쉽게 끊어버릴 수 있죠. 기계한테는 미안하지 않으니까요.
그래서 응답률도 낮은 편인데요. 이처럼 쉽게 끊을 수 있는 ARS 조사를 끝까지 참여했다면 해당 이슈에 관심이 많다는 것으로 볼 수 있습니다. 보통 정치에 관심이 높은 대상자들이 끝까지 응답하는 경우가 많습니다. 이런 사람들은 투표를 할 가능성도 더 높다고 볼 수 있겠죠.
또 기계음을 듣고 버튼을 누르다 보니 '내가 무슨 답변을 하는지 누가 알겠어'하는 마음에 솔직한 답변을 하는 편입니다.



대체로 ARS 조사에서는 보수 정당이나 후보의 지지율이, 전화 면접은 진보 정당이나 후보의 지지율이 높게 나오는데요. 그래서 여론조사 기사에서 조사방식을 알고 보는 것은 중요한 요소 중 하나입니다. 그런데 기사에는 조사방식이 드러나지 않는 경우가 있습니다.
중앙선거여론조사심의위원회는 최초 공표·보도된 여론조사를 '인용 보도'할 때 조사의뢰자와 조사기관, 조사일시, 그 밖의 사항은 여심위 홈페이지를 참조하라고만 밝히게 하고 있기 때문입니다.

하지만 최초로 공표·보도하는 여론조사에서는 조사의뢰자와 조사기관, 조사일시뿐 아니라, 조사대상, 조사방법 등 12개 항목을 제시하도록 하고 있습니다.
'인용 보도'라서 조사방식이 기사에 나와있지 않다면, 조사를 의뢰한 언론매체의 최초 기사나 조사기관 또는 중앙선거여론조사심의위원회 홈페이지에서 확인할 수 있습니다.

 - 조사방식에 따른 입장차 -
그런데 조사방식을 놓고 여론조사기관들의 입장에 좀 차이가 있습니다.
한국조사협회에 속한 회원사들은 ARS 조사는 과학적인 방법이 아니어서 ARS 조사를 수행하지 않겠다는 행동강령을 두고 있는데요. 실제 한국조사협회에 속한 몇몇 업체에 문의했을 때 ARS는 하지 않고 전화 면접만 진행한다는 답을 듣기도 했습니다.

한국정치조사협회라는 곳도 있습니다. 한국정치조사협회 회원사들은 ARS를 원천 배제하지 않고 전화 면접과 혼용해 조사하고 있다고 밝히고 있는데요. ARS 조사가 나름의 한계는 있지만 실사·통계 과정에서 보완 과정을 거치면 효율적이고 선진국 유명 회사들도 이 조사방식을 채택하고 있다고 설명하고 있습니다.

두 조사방식은 비용 면에서도 큰 차이가 있습니다.
기계음으로 하는 ARS는 면접원 인건비가 많이 들어가는 전화 면접보다 훨씬 저렴한데요.
A사와 B사에 문의했을 때 전화면접의 경우, 표본 1명에 만 원을, 또 다른 업체는 표본당 만5천 원에서 만7천 원가량을 말했습니다.
대통령 선거 또는 전국단위 여론조사는 최소 표본이 1,000명이니까 1,000명을 기준으로 하면 한 번 조사에 천만 원에서 천7백만 원가량이 든다는 얘기죠.

이에 비해 ARS는 비용이 더 저렴합니다.
한 번 조사에 5~6백만 원 정도를 얘기한 곳도 있고요. ARS보다 전화 면접 비용이 3배 정도 많다고 보는 곳도 있습니다.
물론 비용은 업체마다, 조사조건에 따라 다를 수 있습니다.


▶ 표본을 추출한 방식은?

조사방식과 함께 표본을 어떻게 추출했는지에 따라서도 답변은 달라질 수 있는데요.
두 개의 여론조사를 비교해보겠습니다.

TBS와 데일리안이 의뢰한 여론조사인데요. 

둘 다 9월 10일과 11일에 조사가 진행됐고요. 질문은 '다음 대통령, 차기 대선 후보로 누가 적합하냐'로 비슷합니다.
일단 수치상 결과를 보면,  C조사는 이재명 후보가, D조사는 윤석열 후보가 가장 높습니다.

무엇 때문일까요? 표본 추출방식을 확인할 필요가 있는데요.
C조사는 무선 ARS를 실시했는데 이동통신사에서 휴대전화 가상번호를 받아 조사 대상을 선정했습니다. D조사도 무선 ARS를 실시했는데 표본 추출은 무작위 전화걸기인 RDD 방식을 사용했습니다.
RDD(Random digit dialing) 방식은 무작위 전화걸기라고도 하는데요. 유선으로 하느냐 무선으로 하느냐, 아니면 유무선을 섞느냐, 섞는데 각각의 비중을 어떻게 두느냐에 따라 결과에 차이가 날 수 있습니다.

유선전화의 경우는 사람이 집에 있는 경우만 받을 수 있고요. 그래서 평일 낮 시간대 조사가 이뤄질 경우는 주부나 노인층 등이 받게 될 가능성이 높고요. 대체로 보수적인 응답이 높은 편입니다.

안심번호라고도 하는 휴대전화 가상번호는 이동통신사 가입자에게 무작위로 추출한 가상의 전화번호를 말하는데요.  안심번호를 이용하려면 조사를 하기 10일 전에 여심위에 신청해야 하고 1건에 308원(부가세 별도)의 비용이 발생합니다.

성, 연령, 지역 할당에 따라 표본의 대표성을 확보할 수 있다는 장점이 있습니다.

하지만 C조사나 D조사나 오차범위(A:±3.1%p, B:±3%p) 내에서 두 후보가 접전을 벌이고 있는 상황이어서 누가 앞섰다고 말하기는 어렵습니다.
(*예를 들어 홍길동 후보의 지지율이 오차범위 ±3.5%p 내에서 30%라고 한다면, 홍길동 후보의 지지율은 26.5%에서 33.5% 범위에 있는 것입니다.)

홍준표, 이낙연 후보만 놓고 비교해도 두 후보는 오차범위 내에서 경합을 벌이고 있습니다.
하지만 두 조사 모두 오차범위를 고려해도 윤석열, 이재명 후보가 홍준표, 이낙연 후보보다 앞서나가고 있다는 것은 확실하게 말할 수 있습니다.

앞으로 많은 여론조사가 쏟아져 나올 텐데, 위에서 언급한 내용들을 고려해 여론조사 기사를 본다면 더 쉽고 재미있게 읽히지 않을까요?