1,000명에게 물어 5,000만 명을 안다: 표본과 표준오차

목요일 아침, 문 데스크가 포털 화면을 출력해 들고 옵니다. "10만 명이야. 여론조사는 보통 1,000명한테 묻잖아. 이건 백 배라고. 72% 찬성, 이거 기사 돼, 안 돼?"

하린도 고개를 끄덕입니다. "10만 명이면 거의 확실한 거 아니에요? 1,000명보다는 백 배 믿을 만할 것 같은데요." 강 선배가 자기 모니터를 돌려 보여 줍니다. 강 선배가 전에 일하던 여론조사 회사가 이번 주에 같은 질문으로 전국 성인 1,000명에게 전화 조사를 했습니다. 결과는 찬성 41% 입니다.

"10만 명은 72%, 1,000명은 41%. 둘 중 하나는 크게 틀렸어." 강 선배가 하린에게 묻습니다. "온라인 투표에는 누가 참여했어? 몇 명 중에보다 먼저 물어야 할 게 있어. 누가, 어떻게 뽑혔는지."

이번 교시에서는 일부에게 물어 전체를 아는 원리를 점 1만 개로 직접 뽑아 보며 익힙니다. 표본이 얼마나 정확한지는 무엇이 정하는지, 그리고 크기로는 고칠 수 없는 오류가 무엇인지 봅니다.

4-1. 모집단과 표본: 국은 한 숟가락으로 맛본다 (7분)

"국민 몇 %가 찬성한다"를 알고 싶다고 합시다. 정말 알고 싶은 것은 전국 성인 수천만 명 모두의 생각입니다. 이 전체를 모집단(population) 이라고 합니다. 모두에게 물을 수는 없으니 일부에게만 묻습니다. 실제로 물어본 사람들을 표본(sample) 이라고 합니다.

통계는 손에 쥔 $\hat p$로 모르는 $p$를 짐작하는 일입니다. 그런데 1,000명의 답이 어떻게 수천만 명을 대신할 수 있을까요?

국 맛보기를 떠올려 보세요. 큰 솥의 국 간을 보려고 솥을 다 마시는 사람은 없습니다. 한 숟가락이면 충분합니다. 단, 조건이 하나 있습니다. 먼저 잘 저어야 합니다. 젓지 않고 위에서만 뜨면 소금이 가라앉은 바닥 맛을 모릅니다.

조사에서 '잘 젓기'에 해당하는 것이 무작위 추출(random sampling) 입니다. 모집단의 누구나 표본에 뽑힐 기회가 같도록 뽑는 것입니다. 무작위로 뽑으면 찬성하는 사람과 반대하는 사람이 원래 비율대로 표본에 섞여 들어올 가능성이 큽니다. 그래서 $\hat p$가 $p$ 근처에 옵니다.

"근처"라고 했습니다. 정확히 같지는 않습니다. 얼마나 근처인지를 재는 것이 이번 교시의 주제입니다.

기호 읽는 법

4-2. 표본마다 다른 값: 표집 분포 (10분)

같은 모집단에서 1,000명을 두 번 뽑으면 두 표본의 찬성 비율은 같을까요? 직접 뽑아 봅시다.

아래 실습대의 왼쪽 위 격자는 모집단 1만 명입니다. 점 하나가 한 사람이고, 남색 점은 찬성, 회색 점은 반대입니다. 처음에는 찬성 비율이 40%입니다. '표본 뽑기'를 누르면 n명(처음에는 1,000명)이 주황색으로 반짝이며 뽑히고, 뽑힌 점은 진하게 남습니다. 그 표본의 찬성 비율이 아래 히스토그램에 한 칸 쌓입니다. 히스토그램의 가로축은 표본의 찬성 비율, 세로축은 그 값이 나온 표본의 수입니다. 회색 점선이 참값이고, 옅은 회색 띠는 참값 ± 2 표준오차(4-3절)입니다. 오른쪽 슬라이더로 모집단의 찬성 비율 p와 표본 크기 n을 바꿉니다. n을 바꾸면 지금까지 쌓은 히스토그램이 회색 윤곽('지난 설정')으로 남아 새 히스토그램과 비교할 수 있습니다.

실습대에서 본 것을 정리합니다.

1. 표본 비율은 뽑을 때마다 다르다. 같은 모집단, 같은 방법인데도 1,000명 표본의 찬성 비율은 38%가 나오기도 하고 42%가 나오기도 합니다. 누가 뽑히느냐는 우연이기 때문입니다.
2. 그래도 아무 값이나 나오지는 않는다. 표본 비율을 많이 모으면 참값 둘레에 종 모양으로 쌓입니다. 표본 비율이 그리는 이 분포를 표집 분포(sampling distribution) 라고 합니다.
3. 흩어짐의 크기를 미리 계산할 수 있다. 1,000명 표본이면 표본 비율의 표준편차가 대개 1.5%p 언저리로 나옵니다. 그리고 이 값은 읽기 칸의 '이론 표준오차' 1.55%p와 거의 같습니다. 표본 100개 중 95개쯤은 회색 띠(참값 ± 3.1%p) 안에 들어옵니다.

왜 종 모양일까요? 찬성을 1, 반대를 0이라고 적으면 찬성 비율은 1과 0의 평균입니다. 3교시의 중심극한정리가 말하듯, 많은 값의 평균은 원래 값이 0과 1뿐이어도 종 모양으로 분포합니다. 표본 비율은 표본평균의 한 종류입니다.

이것이 여론조사가 기대는 사실입니다. 한 번의 조사로는 참값을 정확히 알 수 없습니다. 하지만 "이 방법으로 뽑으면 참값에서 보통 얼마나 빗나가는지" 는 알 수 있습니다.

4-3. 표준오차: 흩어짐을 √n으로 나눈다 (10분)

표집 분포의 표준편차, 곧 표본 값이 참값에서 보통 빗나가는 정도를 표준오차(standard error, SE) 라고 합니다. 2교시의 표준편차가 '사람 한 명 한 명이 평균에서 떨어진 정도'라면, 표준오차는 '표본 하나의 결과가 참값에서 떨어진 정도'입니다.

표준오차는 두 가지로 정해집니다. 모집단 안에서 값이 얼마나 흩어져 있는지(표준편차 $\sigma$), 그리고 몇 명에게 물었는지($n$)입니다.

찬성(1)과 반대(0)로 이루어진 모집단의 표준편차는 $\sigma = \sqrt{p(1-p)}$입니다. 그래서 비율의 표준오차는

입니다. 실습대의 첫 설정($p = 0.4$, $n = 1{,}000$)을 넣어 봅시다.

표본 비율의 약 95%는 참값 ± 2 표준오차, 곧 $40\% \pm 3.1\%\text{p}$ 안에 들어옵니다. 실습대의 회색 띠가 이 범위입니다. 뉴스에서 1,000명 조사마다 붙는 ±3.1%p 도 거의 같은 계산에서 나옵니다. 정확히는 2 대신 1.96을 곱하고 $p$를 0.5로 놓은 값인데, 5교시에서 자세히 봅니다.

$\sqrt{p(1-p)}$는 $p = 0.5$일 때 0.5로 가장 크고, 한쪽으로 치우칠수록 작아집니다($p = 0.3$이면 약 0.46, $p = 0.1$이면 0.3). 1교시의 동전 공식 $0.5/\sqrt{n}$이 바로 $p = 0.5$인 경우였습니다.

표본 크기를 바꿔 가며 계산하면 이렇습니다(찬성 50% 근처, 소수 둘째 자리 반올림).

100명에서 400명으로 4배 늘리면 표준오차는 5%p에서 2.5%p로 절반이 됩니다. 400명에서 1,600명으로 다시 4배 늘려야 또 절반이 됩니다. $n$이 제곱근 안에 있기 때문입니다. 4배 모아야 2배 정확해집니다. 실습대에서 n을 1,000에서 250으로 줄였을 때 폭이 두 배가 된 것도 같은 이유입니다($\sqrt{4} = 2$).

4-4. 모집단 크기는 거의 상관없다 (6분)

4-3절의 공식을 다시 보세요. 표본 크기 $n$은 있는데 모집단 크기 $N$은 없습니다. 이상하게 들리지만 사실입니다. 무작위로 1,000명을 뽑으면, 모집단이 10만 명이든 5,000만 명이든 정확도가 거의 같습니다.

국 맛보기로 돌아가면 당연합니다. 잘 저은 국이라면 작은 냄비든 큰 솥이든 한 숟가락으로 간을 압니다. 숟가락 크기(표본 크기)가 중요하지, 솥의 크기는 중요하지 않습니다.

정확히는 표본이 모집단의 꽤 큰 부분을 차지할 때만 오차가 조금 줄어듭니다. 이미 많은 사람에게 물었으니 남은 불확실성이 적기 때문입니다. 표준오차에 보정 계수 $\sqrt{(N-n)/(N-1)}$을 곱하는데, 1,000명 표본으로 계산하면 이렇습니다(찬성 50% 근처).

모집단이 10만 명을 넘으면 차이가 사실상 없습니다. 그래서 인구가 50배 차이 나는 나라에서도 여론조사 표본은 비슷하게 1,000명 안팎입니다. 실습대가 뽑은 점을 다시 넣고 뽑은 것도 이 때문입니다. 그렇게 하면 모집단이 아주 클 때와 같은 계산이 됩니다.

이제 온라인 투표를 이 공식에 넣어 봅시다. 10만 명이 무작위로 뽑힌 사람들이었다면 표준오차는 약 0.14%p입니다. 72%라는 숫자는 ±0.3%p 안쪽까지 믿을 만했을 겁니다. 그런데 1,000명 전화 조사는 41%였습니다. 31%p 차이는 표준오차로 설명할 수 있는 크기가 아닙니다. 무엇이 틀렸을까요?

4-5. 크기보다 뽑는 방법: 표본 편향 (10분)

통계 교과서마다 실리는 사건이 있습니다. 1936년 미국 대통령 선거입니다. 당시 시사 주간지 리터러리 다이제스트(Literary Digest) 는 앞선 몇 차례 대선 결과를 잇달아 맞혀 이름이 높았습니다. 이 잡지는 약 1,000만 명에게 모의 투표 용지를 우편으로 보냈고, 약 240만 명이 답을 보냈습니다. 결과는 공화당 앨프 랜던 57%, 민주당 프랭클린 루스벨트 43%. 랜던의 승리를 예측했습니다.

실제 선거에서는 루스벨트가 약 61%를 얻어 48개 주 가운데 46개 주를 이겼습니다. 역사에 남을 압승이었습니다. 같은 해 조지 갤럽(George Gallup)은 약 5만 명이라는 훨씬 작은 표본으로 루스벨트의 승리를 맞혔습니다.

240만 명이 왜 틀렸을까요? 잡지는 자기 구독자 명단과 전화번호부, 자동차 등록 명부에서 주소를 얻었습니다. 대공황 시절 전화와 자동차를 가진 사람은 형편이 나은 쪽에 몰려 있었습니다. 게다가 용지를 받은 사람 중 네 명에 한 명꼴만 답을 보냈고, 답을 보낸 사람들은 보내지 않은 사람들과 생각이 달랐습니다. 솥을 젓지 않고 위에서만 뜬 것입니다.

아래 실습대는 이 상황을 흉내 냅니다. 이번 모집단도 찬성이 40%이지만, 찬성(남색)이 왼쪽 구역에 몰려 있습니다. 주황 점선 테두리가 그 '한쪽 구역'(왼쪽 30줄, 점 3,000개)이고, 그 안의 찬성 비율은 72%입니다. 오른쪽의 '한쪽 구역에서만 뽑기'가 켜진 채로 시작합니다. 켜져 있으면 표본을 그 구역에서만 뽑습니다. 온라인 투표에 관심 있는 사람만 참여하는 것과 같습니다.

실습대가 보여 준 것이 이번 교시의 핵심입니다. 조사의 오차에는 두 종류가 있습니다.

n을 키우면 히스토그램은 점점 뾰족해집니다. 하지만 뾰족해진 자리가 참값이 아니면, 큰 표본은 틀린 답을 더 확신하게 만들 뿐입니다. 240만 명의 표본이 정확히 그랬습니다.

표본을 치우치게 만드는 흔한 길은 세 가지입니다.

• 스스로 참여한 응답(자발적 응답, self-selection): 온라인 투표, 방송 문자 투표, 댓글. 관심이 크고 의견이 강한 사람만 참여합니다. 같은 사람이 여러 번 참여하기도 합니다.
• 치우친 명부(표본틀 편향): 뽑는 명단 자체가 모집단과 다릅니다. 1936년의 전화번호부와 자동차 명부, 오늘날로 치면 특정 앱 사용자만 대상으로 한 설문입니다.
• 응답하지 않은 사람(무응답 편향): 연락이 닿아도 답하지 않은 사람들이 답한 사람들과 생각이 다르면 결과가 기웁니다.

이제 제보에 답할 수 있습니다. 포털 투표의 10만 명은 그 포털에 들어와 그 주제를 클릭하고 투표 버튼을 누른 사람들입니다. 주제에 관심이 큰 사람이 몰렸을 가능성이 큽니다. 무작위로 뽑은 1,000명의 41%와 31%p나 차이 나는 것은 우연이 아니라 편향의 흔적입니다.

기사에서는

"온라인 투표 참여자 10만 명 중 72%가 찬성했다"는 사실입니다. 하지만 "국민 72%가 찬성"은 아닙니다. 쓰려면 이렇게 써야 합니다. "이 투표는 참여를 원하는 사람만 참여해 국민 전체의 의견으로 볼 수 없다. 같은 주에 무작위로 뽑은 성인 1,000명에게 물은 전화 조사에서는 찬성이 41%였다(95% 신뢰수준에 표본오차 ±3.1%p)." 여론조사 기사 끝에 붙는 "무선 전화 면접, 응답률 ○%, 표본오차 ±○%p" 같은 줄은 누구를 어떻게 뽑았는지를 밝히는 부분입니다. 이 줄이 없는 숫자는 일단 의심하세요.

자주 하는 착각 (3분)

• "표본이 클수록 무조건 정확하다." 우연에 의한 오차만 줄어듭니다. 뽑는 방법이 치우쳤다면 표본을 키워도 편향은 그대로이고, 오히려 틀린 답을 더 확신하게 됩니다.
• "인구가 많은 나라는 더 많이 물어야 한다." 무작위 표본의 정확도는 모집단 크기와 거의 무관합니다. 1,000명이면 10만 명 도시든 5,000만 명 나라든 표준오차가 약 1.6%p입니다.
• "1,000명은 전체의 0.002%밖에 안 되니 의미 없다." 정확도를 정하는 것은 비율이 아니라 표본의 크기와 뽑는 방법입니다.
• "오차를 절반으로 줄이려면 표본을 두 배로." 네 배가 필요합니다. 표준오차는 √n에 반비례합니다.
• "표본 비율이 참값과 다르면 조사가 잘못된 것이다." 무작위 표본도 매번 조금씩 다릅니다. 표준오차 두 배 안쪽의 차이는 정상입니다.

연습 문제 (4분)

1. 찬성 비율이 50% 근처인 주제를 400명에게 무작위로 물었습니다. 표준오차는 몇 %p일까요? 표본 비율의 약 95%는 참값에서 몇 %p 안에 들어올까요?
2. 1,000명 조사의 표준오차(약 1.58%p)를 절반인 약 0.79%p로 줄이려면 몇 명에게 물어야 할까요?
3. 인구 1,000만 명인 도시와 인구 50만 명인 도시에서 각각 무작위로 1,000명을 뽑아 같은 질문을 했습니다. 어느 도시의 조사가 더 정확할까요?
4. 한 쇼핑 앱이 "이용자 5만 명 설문, 만족도 90%"라고 발표했습니다. 설문은 앱 첫 화면의 배너를 누른 사람만 답했습니다. 기사로 옮기기 전에 무엇을 물어야 할까요?

풀이

1. 표준오차는 √(0.5 × 0.5 / 400) = √0.000625 = 0.025, 곧 2.5%p입니다. 약 95%가 참값 ± 2 표준오차, 곧 ±5%p 안에 들어옵니다.
2. 표준오차를 절반으로 줄이려면 n이 4배여야 합니다. 4,000명입니다. 확인: √(0.25 / 4,000) ≈ 0.0079, 곧 0.79%p.
3. 거의 같습니다. 보정 계수가 1,000만 명 도시는 약 0.99995, 50만 명 도시는 약 0.999로 둘 다 1에 가깝습니다. 표준오차는 두 곳 모두 약 1.58%p입니다.
4. 누가 답했는지부터 물어야 합니다. 배너를 눌러 스스로 답한 사람들이므로 앱을 자주 쓰고 만족하는 이용자가 몰렸을 수 있습니다. 불만이 큰 사람은 이미 앱을 지웠을 수도 있습니다. 5만 명이라는 크기는 이 편향을 고치지 못합니다. "응답자 중 90%"라고만 쓸 수 있고, "이용자 90%가 만족"이라고 쓰면 안 됩니다.

금요일 아침, 문 데스크가 또 출력물을 들고 옵니다. 어제 그 여론조사 회사가 이번에는 다음 달 가람시 시장 선거를 조사했습니다. 무작위로 뽑은 1,000명, 결과는 A 후보 42%, B 후보 39%, 아래에 작은 글씨로 "95% 신뢰수준에서 표본오차 ±3.1%p"라고 적혀 있습니다. "이번엔 제대로 뽑은 1,000명이지? 'A 후보 앞섰다'로 간다." 강 선배가 고개를 젓습니다. "3%p 차이에 오차범위가 ±3.1%p야. 오늘은 그 ±3.1%p가 정확히 무슨 뜻인지 보자." 5교시에서는 오차범위와 신뢰구간을 다룹니다.