오차범위 ±3.1%p의 정체: 신뢰구간

금요일 아침, 문 데스크가 어제 그 여론조사 회사의 새 보고서를 들고 옵니다. 다음 달 가람시 시장 선거 조사입니다. 이번에는 무작위로 뽑은 1,000명이니 어제 같은 편향 걱정은 덜합니다. "A 42%, B 39%. 제대로 뽑은 조사잖아. 'A 앞서'로 쓴다."

하린이 보고서 아래의 작은 글씨를 읽습니다. "95% 신뢰수준에서 표본오차 ±3.1%p." 어제 배운 숫자입니다. 하린이 자신 있게 말합니다. "A 후보 지지율의 참값이 38.9%에서 45.1% 사이에 있을 확률이 95%라는 뜻이죠?"

강 선배가 웃습니다. "거의 모두가 그렇게 말해. 기자도, 정치인도. 그런데 정확한 뜻은 조금 달라. 그리고 그 차이를 알면 'A 앞서'가 왜 위험한지도 보여." 강 선배가 화이트보드에 두 질문을 씁니다. "95%는 무엇의 95%인가? 3%p 차이에 붙는 오차범위는 얼마인가?"

이번 교시에서는 신뢰구간 100개를 직접 그려 보며 '95%'의 바른 뜻을 잡습니다. 그다음 두 후보의 차이를 읽는 법과, 오차범위가 담지 못하는 오차를 정리합니다.

5-1. ±3.1%p는 어디서 나오나 (8분)

4교시에서 본 것을 떠올려 보세요. 무작위로 1,000명을 뽑으면 표본 비율 $\hat p$는 참값 $p$ 둘레에 종 모양으로 흩어지고, 그 흩어짐의 크기가 표준오차였습니다. 3교시의 68–95–99.7 규칙에 따르면 종 모양 분포에서는 값의 약 95%가 평균 ± 2 표준편차 안에 있습니다. 정확히 95%가 되는 배수는 2가 아니라 1.96입니다.

그래서 오차범위(margin of error) 는 표준오차의 1.96배로 계산합니다.

조사 전에는 $p$를 모르므로, 여론조사 회사는 보통 $p = 0.5$를 넣습니다. $\sqrt{p(1-p)}$가 가장 커지는 값이라 가장 넉넉한(가장 넓은) 오차범위가 나오고, 보고서의 모든 문항에 한 숫자를 붙일 수 있습니다. 1,000명이면

입니다(제곱근 부분이 0.0158). 이것이 수많은 기사 끝에 붙는 ±3.1%p의 정체입니다. 표본 크기별로 보면 이렇습니다(소수 첫째 자리 반올림).

조사 결과 $\hat p$를 가운데 두고 양쪽으로 오차범위만큼 벌린 구간을 신뢰구간(confidence interval) 이라고 합니다. 엄밀하게는 $p$ 자리에 표본 비율 $\hat p$를 넣어 계산합니다. A 후보(42%)라면 오차범위가

이고, 신뢰구간은 42% ± 3.06%p, 곧 38.9%에서 45.1%까지입니다. 42%는 50%에서 멀지 않아서 오차범위가 보도된 ±3.1%p와 거의 같습니다.

기호 읽는 법

5-2. 신뢰구간 100개 그려 보기 (9분)

실제 조사는 한 번뿐이라 구간도 하나뿐입니다. 그 구간이 참값을 품었는지는 아무도 모릅니다. 하지만 실습대에서는 참값을 알고 조사를 100번 할 수 있습니다.

아래 실습대의 모집단은 참값이 42%(회색 세로 점선)입니다. '조사 100번'을 누르면 무작위로 n명(처음에는 1,000명)을 뽑는 조사를 100번 하고, 조사마다 신뢰구간을 가로 막대로 위에서 아래로 하나씩 그립니다. 가로축은 찬성 비율, 세로축은 조사 번호입니다. 참값을 품은 구간은 남색, 놓친 구간은 붉은색으로 굵게 칠해집니다. 오른쪽에서 신뢰수준(80, 90, 95, 99%)과 표본 크기 n을 바꿀 수 있습니다. 신뢰수준을 바꾸면 같은 100번의 조사로 구간의 폭만 다시 계산합니다. 읽기 칸에는 이번 조사의 구간 폭, 50%로 계산한 오차범위, 놓친 구간의 개수가 나옵니다.

실습대에서 본 것을 정리합니다.

1. 구간은 조사마다 움직인다. 표본 비율이 조사마다 다르니, 그 둘레에 그린 구간도 조사마다 좌우로 흔들립니다. 참값(점선)은 움직이지 않습니다.
2. 95% 신뢰구간은 100개 중 95개쯤이 참값을 품는다. 놓치는 구간은 회차마다 서너 개일 때도, 일고여덟 개일 때도 있지만 많이 모으면 5%에 다가갑니다.
3. 구간 하나만 보고는 색을 알 수 없다. 실제 조사에서 우리 손에 있는 것은 막대 하나입니다. 그 막대가 남색인지 붉은색인지는 참값을 모르는 한 알 수 없습니다.
4. 표본을 줄이면 구간이 넓어진다. n을 250으로 줄이면 구간 폭이 두 배쯤(±6.1%p)이 됩니다. 놓치는 비율은 여전히 5% 근처입니다. 표본 크기는 신뢰수준이 아니라 폭을 정합니다.

5-3. '95% 신뢰'의 바른 뜻 (8분)

고리 던지기를 생각해 보세요. 바닥에 막대(참값)가 박혀 있고, 눈을 가린 채 고리(신뢰구간)를 던집니다. 막대는 움직이지 않습니다. 움직이는 것은 고리입니다. "이 사람은 95% 확률로 고리를 건다"는 던지는 솜씨에 대한 말입니다. 이미 던져서 땅에 떨어진 고리 하나는 막대에 걸렸거나 안 걸렸거나 둘 중 하나입니다. 눈을 가렸으니 우리가 모를 뿐입니다.

신뢰구간도 같습니다. 바른 문장은 이렇습니다.

95%는 방법의 성공률입니다. 구간 하나에 붙은 확률이 아닙니다. 그래서 흔한 문장들을 이렇게 고쳐 읽어야 합니다.

기사나 대화에서 "95% 신뢰한다"고 말하는 것은 괜찮습니다. 다만 그 신뢰는 구간 하나에 대한 확률이 아니라, 이 방법이 대개 맞는다는 데서 나온 믿음입니다. 구간 하나에 직접 확률을 붙이는 방법도 있습니다. 9교시의 베이즈식 생각이 그 길입니다.

5-4. 신뢰수준과 폭은 맞바꾼다 (5분)

실습대에서 신뢰수준을 바꿨을 때를 떠올려 보세요. 99%로 올리면 구간이 넓어져 놓치는 구간이 거의 사라졌고, 80%로 내리면 구간이 좁아진 대신 다섯 개에 하나꼴로 놓쳤습니다. 1,000명 조사(50%로 계산)의 오차범위는 이렇습니다.

더 확실하려면 더 넓게 말해야 합니다. 극단으로 가면 "지지율은 0%에서 100% 사이다"는 100% 확실하지만 아무 쓸모가 없습니다. 좁으면서 확실한 구간을 얻는 길은 하나, 표본을 키우는 것뿐입니다. 99% 신뢰수준에서도 오차범위를 ±3.1%p로 지키려면 약 1,730명, 95%에서 ±1%p로 줄이려면 9,604명이 필요합니다. 4교시의 '4배에 2배' 법칙 그대로입니다.

대부분의 여론조사와 논문은 관례로 95%를 씁니다. 보고서에 신뢰수준이 적혀 있지 않다면, 적어도 같은 신뢰수준끼리 비교하고 있는지 확인하세요.

5-5. 두 후보의 차이를 읽는 법 (9분)

이제 문 데스크의 제목으로 돌아갑니다. A 42%, B 39%. 차이는 3%p이고 오차범위는 ±3.1%p입니다. 그런데 차이에 붙는 오차범위는 ±3.1%p가 아닙니다. 더 큽니다.

두 숫자가 같은 1,000명에게서 나왔기 때문입니다. 표본에 A 지지자가 우연히 몇 명 더 뽑히면, 그 자리에 B 지지자가 덜 뽑히기 쉽습니다. A가 올라갈 때 B는 내려가는 경향이 있으니, 둘의 차이는 각각의 값보다 크게 흔들립니다. 같은 표본에서 나온 두 비율의 차이에 대한 표준오차는

입니다. 숫자를 넣어 봅시다. 분자는 0.42 + 0.39 − 0.0009 = 0.8091입니다.

95% 오차범위는 $1.96 \times 2.84 \approx 5.6$%p입니다. 보도된 오차범위 ±3.1%p의 약 1.8배입니다. 그래서 차이의 95% 신뢰구간은

입니다. 이 구간에는 0이 들어 있습니다. B가 실제로 2~3%p 앞서고 있어도 이런 조사 결과가 충분히 나올 수 있다는 뜻입니다. "A 앞서"라고 쓸 수 없습니다. 바른 표현은 "A 42%, B 39%로 오차범위 안의 접전"입니다.

차이의 오차범위가 보도된 오차범위의 몇 배인지는 두 후보 지지율의 합에 따라 달라집니다. 합이 72%쯤이면 약 1.7배, 이번처럼 81%면 약 1.8배, 두 후보가 표를 거의 다 나눠 가지면 2배에 다가갑니다. 그리고 2배를 넘지는 않습니다. 그래서 이렇게 기억하면 안전합니다. 1,000명 조사에서 차이가 6.2%p(오차범위의 두 배)보다 크면 앞섰다고 써도 됩니다. 그보다 작으면 차이의 오차범위를 직접 계산해 봐야 합니다.

두 후보의 신뢰구간이 겹치는지만 보고 판단하는 방법도 흔히 쓰입니다. A는 38.9~45.1%, B는 36.0~42.0%로 겹칩니다. 이번에는 결론이 같지만, 겹침만으로 판단하면 틀리는 경우가 있습니다. 차이를 따로 계산하는 것이 정확합니다.

기사에서는

• "A 후보가 B 후보를 3%p 앞섰다" → "A 후보 42%, B 후보 39%로 두 후보는 오차범위 안에서 접전을 벌였다."
• "A 후보, 오차범위 밖 우세" → 차이가 차이의 오차범위(1,000명이면 대략 5.6~6.2%p)보다 클 때만 쓸 수 있습니다.
• "지난달보다 2%p 올라" → 서로 다른 두 조사의 차이에도 오차범위가 있습니다. 1,000명 조사 두 번이면 차이의 오차범위는 각 조사 오차범위의 약 1.4배(±4.4%p)입니다. 2%p 변화는 우연으로 충분히 설명됩니다.

5-6. 오차범위가 담지 않는 오차 (4분)

±3.1%p는 누가 뽑히느냐의 우연만 계산한 값입니다. 4교시의 표현으로는 '우연에 의한 오차'뿐입니다. 표본이 완벽하게 무작위이고, 모두가 답하고, 모두가 솔직하다는 가정 위에 서 있습니다. 실제 조사에는 이 숫자가 담지 않는 오차가 있습니다.

• 응답률: 전화를 받고 끝까지 답하는 사람은 생각보다 적습니다. 응답률이 10%에 못 미치는 조사도 흔합니다. 답한 사람과 끊은 사람의 생각이 다르면 결과가 기웁니다.
• 질문 문구와 순서: "주 4일제 시범 도입에 찬성하십니까?"와 "임금이 줄더라도 주 4일제를 도입해야 합니까?"는 다른 답을 끌어냅니다. 후보 이름을 부르는 순서도 결과를 바꿀 수 있습니다.
• 조사 방식과 명부: 사람이 묻는 전화 면접인지 녹음된 목소리(ARS)인지, 휴대전화와 집 전화를 어떤 비율로 섞었는지에 따라 닿는 사람이 달라집니다.
• 보정(가중치): 표본의 나이·성별·지역 구성이 모집단과 다르면 회사가 숫자를 보정합니다. 보정을 많이 할수록 실제 불확실성은 ±3.1%p보다 커집니다.

같은 주에 같은 선거를 조사한 두 회사의 결과가 오차범위보다 크게 다른 일이 자주 있는 이유가 이것입니다. 오차범위는 "적어도 이만큼은 흔들린다" 는 최소한의 표시로 읽어야 합니다.

자주 하는 착각 (3분)

• "참값이 이 구간 안에 있을 확률이 95%다." 95%는 구간을 만드는 방법의 성공률입니다. 이미 만든 구간 하나는 참값을 품었거나 못 품었습니다.
• "차이가 오차범위(±3.1%p)보다 작으면 접전, 크면 우세." 같은 조사 안의 두 후보 차이에는 더 큰 오차범위가 붙습니다(이번 조사 ±5.6%p). 3.5%p 차이도 대개 '접전'입니다.
• "신뢰수준을 높이면 조사가 더 정확해진다." 같은 표본에서 신뢰수준을 높이면 구간이 넓어질 뿐입니다. 정확도(폭)를 높이는 것은 표본 크기입니다.
• "오차범위 안이면 두 후보 지지율이 같다." 같다는 뜻이 아니라, 이 조사로는 누가 앞서는지 가릴 수 없다는 뜻입니다.
• "오차범위만 따지면 조사의 오차를 다 따진 것이다." 응답률, 질문 문구, 조사 방식에서 오는 오차는 오차범위에 들어 있지 않습니다.

연습 문제 (4분)

1. 1,500명을 조사했습니다. 95% 신뢰수준의 오차범위(50%로 계산)는 몇 %p일까요?
2. 1,000명 조사의 오차범위를 99% 신뢰수준으로 계산하면 몇 %p일까요?
3. 다른 1,000명 조사에서 A 후보 45%, B 후보 38%가 나왔습니다. 차이 7%p의 95% 오차범위를 계산하고, "A 앞서"라고 쓸 수 있는지 판단하세요.
4. 하린이 쓴 문장을 고쳐 보세요. "A 후보 지지율의 참값이 38.9%~45.1% 사이에 있을 확률은 95%다."

풀이

1. 1.96 × √(0.5 × 0.5 / 1,500) = 1.96 × 0.0129 ≈ 0.0253, 곧 ±2.5%p입니다.
2. 2.58 × √(0.5 × 0.5 / 1,000) = 2.58 × 0.0158 ≈ 0.041, 곧 ±4.1%p입니다. 95%의 ±3.1%p보다 넓습니다.
3. 차이의 표준오차는 √((0.45 + 0.38 − 0.07²) / 1,000) = √(0.8251 / 1,000) ≈ 0.0287, 곧 2.87%p입니다. 오차범위는 1.96 × 2.87 ≈ 5.6%p이고, 차이의 신뢰구간은 7 ± 5.6, 곧 1.4%p ~ 12.6%p입니다. 0이 들어 있지 않으므로 "A 후보가 오차범위 밖에서 앞섰다"고 쓸 수 있습니다. 다만 5-6절의 오차는 여전히 남습니다.
4. "이 조사에서 A 후보 지지율의 95% 신뢰구간은 38.9%~45.1%다. 같은 방법으로 조사하면 이렇게 만든 구간의 약 95%가 참값을 품는다." 짧게는 "A 후보 42%(오차범위 ±3.1%p)"라고만 써도 충분합니다.

그날 오후 기사 제목은 "가람시 시장 선거, A·B 후보 오차범위 안 접전"으로 바뀌었습니다. 주말이 지나면 숫자 데스크의 둘째 주입니다. 월요일 아침 문 데스크가 들고 올 것은 한 학원의 보도자료입니다. "새 공부법을 써 본 학생 20명 중 15명이 성적이 올랐다." 효과가 전혀 없어도 20명 중 15명이 좋아지는 일은 얼마나 흔할까요? 6교시에서는 가설검정과 p값을 다룹니다.