우연일까 효과일까: 가설검정과 p값

둘째 주 월요일 아침, 문 데스크가 학원 보도자료를 들고 옵니다. "20명 중 15명이 올랐대. 75%야. 교육면에 '새 공부법 효과' 기사로 쓸 수 있겠어? 오늘 안에."

하린은 이번에는 바로 대답하지 않습니다. 지난주에 배운 질문이 먼저 떠오릅니다. "몇 명 중에?"는 보도자료에 나와 있습니다. 20명입니다. 하린이 강 선배를 돌아봅니다. "그럼 남은 질문은 하나네요. 우연이면 얼마나 자주 나와요?"

강 선배가 웃습니다. "그거야. 그런데 그 질문에 답하려면 먼저 '우연'이 뭔지 정해야 해. 공부법이 아무 쓸모가 없다고 쳐 보자. 그래도 성적이 오르는 학생은 있겠지?" 하린이 고개를 끄덕입니다. "시험마다 점수는 오르락내리락하니까요."

이번 교시에서는 "효과가 없다고 치고 계산한다"는 가설검정의 생각을 익힙니다. 효과 없는 실험을 컴퓨터로 수천 번 되풀이해 p값을 직접 만들어 봅니다. 그다음 손으로 정확한 값을 계산하고, 마지막으로 p값을 잘못 읽는 다섯 가지 방법을 정리합니다.

6-1. 먼저 '효과가 없다'고 치고 본다 (8분)

공부법이 효과가 있는지 직접 증명하기는 어렵습니다. "얼마나 효과가 있는지"를 모르니 무엇과 비교해야 할지도 모릅니다. 그래서 통계학은 반대 방향에서 출발합니다.

이 "효과가 없다"는 가정을 귀무가설(null hypothesis) 이라고 하고 $H_0$로 씁니다. '귀무(歸無)'는 '없음으로 돌아간다'는 뜻입니다. 반대로 "효과가 있다"는 주장은 대립가설(alternative hypothesis) 이라고 합니다.

공부법에 효과가 없다면 학생 한 명의 성적은 어떻게 될까요? 한 달 뒤 시험이 조금 쉬울 수도, 어려울 수도 있습니다. 컨디션도 매번 다릅니다. 그래서 효과가 없을 때 한 학생의 성적이 오를지 내릴지는 반반이라고 칩니다(점수가 똑같은 학생은 없었다고 합시다). 그러면 학생 한 명은 동전 하나와 같습니다.

동전 20개를 던지면 앞면은 평균 10개가 나옵니다. 1교시에서 본 대로 딱 10개만 나오지는 않고 들쭉날쭉합니다. 흩어짐의 표준적인 크기(표준편차)는 $\sqrt{20 \times 0.5 \times 0.5} = \sqrt{5} \approx 2.24$개입니다. 15개는 평균보다 5개 많으니 표준편차의 약 2.2배만큼 떨어진 값입니다. 3교시의 68–95–99.7 규칙으로 어림하면 꽤 드문 쪽입니다. 그런데 "꽤 드물다"는 얼마나 드물다는 걸까요? 직접 세어 봅시다.

기호 읽는 법

6-2. 우연이면 얼마나 자주 나와? 수천 번 되풀이하기 (10분)

아래 실습대는 효과가 전혀 없는 공부법으로 학생 20명을 가르치는 실험을 흉내 냅니다. 위쪽 동그라미 20개가 학생입니다. '1번 실험'을 누르면 회색 동전이 돌다가 멈춥니다. 채운 남색 원은 좋아진 학생, 빈 원은 좋아지지 않은 학생입니다. 좋아진 학생 수가 아래 히스토그램에 한 칸 쌓이고, 방금 쌓인 막대에는 진한 테두리가 생깁니다. 히스토그램의 가로축은 좋아진 학생 수, 세로축은 그런 결과가 나온 실험 횟수입니다.

주황 세로선은 보도자료의 관측값 15명입니다. 15명 이상인 막대는 주황으로 칠해집니다. 실험이 50번 넘게 쌓이면 회색 점선으로 이론값(이항분포)이 함께 그려집니다. 오른쪽 '학생 n'과 '관측 k' 슬라이더로 실험 크기와 관측값을 바꿀 수 있고, '꼬리'에서 단측과 양측을 고릅니다(6-4절).

실습대에서 본 것을 말로 옮기면 이렇습니다.

1. 효과가 없어도 결과는 퍼진다. 공부법이 아무 쓸모가 없어도 20명 중 13명, 14명이 좋아지는 실험은 심심치 않게 나옵니다. "좋아진 학생이 절반보다 많다"는 것만으로는 아무것도 말할 수 없습니다.
2. 15명 이상은 1,000번에 20번쯤이다. 효과가 없는 세상에서 실험을 1,000번 하면 15명 이상이 좋아지는 실험은 20번 안팎입니다. 우연만으로 나오기에는 드문 결과입니다.
3. 이 비율이 p값이다. 귀무가설의 세상에서 지금만큼 또는 그보다 더 극단적인 결과가 나오는 비율을 p값(p-value) 이라고 합니다. 실습대의 주황 막대 넓이가 바로 p값입니다.

강 선배의 두 번째 질문 "우연이면 얼마나 자주 나와?"에 숫자로 답한 것이 p값입니다. p값이 작을수록 "우연만으로는 이런 결과가 잘 안 나온다"는 뜻입니다.

"지금만큼 또는 더 극단적인"이라는 부분을 놓치지 마세요. 정확히 15명이 나올 확률만 보면 안 됩니다. 학생이 많아지면 "정확히 몇 명"일 확률은 어떤 값이든 작아지기 때문입니다. 15명이 이상하다면 16명, 17명은 더 이상합니다. 그래서 그 너머를 모두 더합니다.

6-3. 손으로 p값 계산하기, 그리고 0.05라는 기준 (9분)

시뮬레이션은 어림값입니다. 동전 20개라면 정확한 값을 손으로도 셀 수 있습니다. 동전 20개의 앞뒤 결과는 모두 $2^{20} = 1{,}048{,}576$가지이고, 귀무가설에서는 이 결과들이 모두 같은 확률로 나옵니다. 그러니 "15개 이상이 앞면인 결과가 몇 가지인지"만 세면 됩니다.

20개 중 앞면이 될 15개를 고르는 방법의 수는 $\binom{20}{15} = 15{,}504$가지입니다(조합). 16개부터 20개까지도 같은 방법으로 셉니다.

세로 막대 $\mid$ 뒤의 $H_0$는 "귀무가설이 맞다고 칠 때"라는 조건입니다. 효과가 없는 공부법이라도 실험 50번에 한 번꼴(약 2%)로는 20명 중 15명 이상이 좋아집니다.

그럼 2%는 "드물다"고 할 만큼 작을까요? 이것을 미리 정해 두는 기준이 유의수준(significance level) $\alpha$입니다. 많은 분야에서 관례로 $\alpha = 0.05$(5%)를 씁니다.

• $p \le 0.05$이면 "우연만으로는 드문 결과"로 보고 귀무가설을 기각(reject) 합니다. 이것을 통계적으로 유의하다(statistically significant) 고 합니다.
• $p > 0.05$이면 귀무가설을 기각하지 못합니다. "효과가 없다"고 결론 내리는 것이 아니라, "효과가 있다고 말할 증거가 부족하다"고 말합니다.

보도자료의 결과는 $p \approx 0.021$로 0.05보다 작으니 통계적으로 유의합니다. 그런데 학생 한 명만 덜 좋아졌다면 어떨까요? 14명 이상일 확률은 $(21{,}700 + 38{,}760)/1{,}048{,}576 \approx 0.0577$로 0.05를 넘습니다. 20명 실험에서는 15명이 유의의 문턱입니다. 14명과 15명은 학생 한 명 차이인데 판정은 갈립니다. 0.05는 편리한 약속이지 자연의 경계선이 아닙니다. 6-5절에서 다시 다룹니다.

6-4. 한쪽 끝만 볼까, 양쪽 끝을 다 볼까: 단측과 양측 (5분)

지금까지는 "15명 이상"만 셌습니다. 공부법이 성적을 올리는지만 물었기 때문입니다. 이렇게 한쪽 끝만 보는 검정을 단측 검정(one-sided test) 이라고 합니다.

그런데 새 공부법이 오히려 성적을 떨어뜨릴 수도 있습니다. 20명 중 5명만 좋아졌다면 그것도 "효과 없음"과는 거리가 먼 결과입니다. 방향과 관계없이 "가운데(10명)에서 지금만큼 멀리 떨어진 결과"를 모두 세면 양측 검정(two-sided test) 입니다. 15명은 가운데에서 5명 떨어졌으니 반대쪽 5명 이하도 셉니다.

동전은 앞뒤가 대칭이라 양쪽 꼬리의 넓이가 같고, 양측 p값은 단측의 두 배가 됩니다. 실습대의 '꼬리'를 '양측'으로 바꾸면 반대쪽 끝에도 주황 선과 주황 막대가 생깁니다.

어느 쪽을 써야 할까요? 논문과 보고서는 대개 양측을 씁니다. 실제로 실험을 해 보기 전에는 효과의 방향을 장담할 수 없기 때문입니다. 중요한 것은 데이터를 보기 전에 정해야 한다는 점입니다. 결과를 본 뒤 "양측으로는 0.06인데 단측으로는 0.03"이라며 단측으로 바꾸는 것은 규칙을 어기는 일입니다. 기사에서 굳이 '단측'을 강조하는 연구를 보면 왜 그랬는지 물어볼 만합니다.

6-5. p값이 말하지 않는 것: 흔한 오해 다섯 가지 (8분)

p값의 정의를 다시 한 번 또박또박 적어 봅니다.

이 문장의 출발점은 언제나 "효과가 없다고 칠 때"입니다. 이 사실을 잊으면 아래 다섯 가지 오해가 생깁니다. 기사에서 아주 자주 보이는 문장들입니다.

오해 1. "p = 0.02이니 효과가 없을 확률은 2%, 효과가 있을 확률은 98%다." p값은 "효과가 없다"를 이미 맞다고 쳐 놓고 계산한 값입니다. 그러니 "효과가 없다"는 가정이 맞을 확률을 알려 줄 수 없습니다. "비가 온다고 치면 땅이 젖을 확률"과 "땅이 젖어 있을 때 비가 왔을 확률"이 다른 것과 같습니다. 효과가 있을 확률을 따지려면 실험 전에 그 공부법이 얼마나 그럴듯했는지(사전 믿음)까지 함께 따져야 합니다. 이것은 8·9교시의 베이즈 생각에서 다룹니다.

오해 2. "p = 0.02이니 이 결과가 우연히 나왔을 확률은 2%다." 오해 1을 다르게 말한 것입니다. 정확한 문장은 "우연만으로 이런 결과가 나오는 일은 2% 정도로 드물다"입니다. 이 결과가 우연 때문일 확률이 2%라는 뜻은 아닙니다.

오해 3. "p > 0.05이니 효과가 없다는 것이 증명됐다." p값이 크다는 것은 "효과가 있다고 말할 증거가 부족하다"는 뜻입니다. 효과가 없다는 증거와는 다릅니다. 학생이 5명뿐인 실험이라면 진짜 효과가 있어도 p값이 0.05 아래로 내려가기 어렵습니다. 이것은 7교시의 '검정력'에서 다룹니다.

오해 4. "p값이 작을수록 효과가 크다." p값은 효과의 크기와 표본의 크기가 섞여서 나온 값입니다. 효과가 작아도 사람이 아주 많으면 p값은 얼마든지 작아집니다(6-6절).

오해 5. "p < 0.05였으니 같은 실험을 다시 해도 대부분 유의하게 나온다." 그렇지 않습니다. p값이 0.05 언저리였다면, 참 효과가 이번에 관측한 크기와 똑같더라도 같은 크기로 다시 실험했을 때 다시 유의할 확률은 반반 정도입니다. 한 번의 "유의"는 출발점이지 결론이 아닙니다.

0.05라는 선도 마찬가지입니다. p = 0.049와 p = 0.051은 증거의 세기가 사실상 같습니다. 한쪽은 "효과 입증", 다른 쪽은 "효과 없음"으로 보도된다면 숫자를 지나치게 믿는 것입니다. 그래서 요즘 많은 연구자는 "유의하다/아니다"라는 판정만 쓰지 말고 p값 자체와 효과의 크기, 신뢰구간(5교시)을 함께 적으라고 권합니다.

6-6. 통계적으로 유의하다 ≠ 중요하다 (4분)

같은 공부법을 학생 1만 명에게 시켰더니 5,100명이 좋아졌다고 합시다. 51%입니다. 반반보다 겨우 1%p 많습니다. 그런데 p값을 계산하면 단측으로 약 0.023으로, 20명 중 15명(0.021)과 거의 같습니다.

두 실험은 p값이 비슷하지만 효과의 크기는 25배 차이 납니다. 표본이 크면 아주 작은 차이도 우연과 구별됩니다. 1만 명 중 5,100명이라는 결과는 "효과가 0은 아닐 것"이라는 말은 해 주지만, 그 효과가 학원비를 낼 만큼 큰지는 말해 주지 않습니다. 영어의 'significant'는 일상에서 '중요한'이라는 뜻도 있어서 더 헷갈립니다. 통계에서 유의하다는 것은 "우연만으로는 설명하기 어렵다"일 뿐입니다.

기사에서는

보도자료의 "통계적으로 입증"은 이렇게 고쳐 읽습니다. "공부법에 효과가 전혀 없고 성적이 오를지 내릴지가 반반이라면, 20명 중 15명 이상이 좋아지는 일은 약 2%(양측으로는 약 4%)로 드물다." 여기까지가 p값이 해 주는 말의 전부입니다.

강 선배는 다른 곳을 짚습니다. "이 실험에는 비교할 모둠이 없어. 거꾸로 노트법을 안 쓴 학생들도 한 달 동안 공부했으면 성적이 올랐을 거야. 시험이 쉬워졌을 수도 있고." 귀무가설은 "효과가 없으면 반반"이라고 쳤지만, 원래 오르는 학생이 더 많은 상황이라면 그 가정부터 틀렸습니다. 그러면 p값도 의미를 잃습니다. p값은 우연만 따집니다. 비교 모둠이 없는 설계, 골라 뽑은 학생 같은 문제는 p값이 아무리 작아도 걸러 주지 못합니다. 이 문제는 10교시의 무작위 대조 실험에서 다시 만납니다.

자주 하는 착각 (3분)

• "p = 0.02이면 효과가 있을 확률이 98%다." p값은 효과가 없다고 친 뒤 계산한 값입니다. 가설이 맞을 확률이 아닙니다.
• "유의하지 않으면 효과가 없다." 증거가 부족하다는 뜻입니다. 표본이 작으면 진짜 효과도 유의하게 나오지 않습니다.
• "p값이 작으면 효과가 크다." 큰 표본에서는 사소한 효과도 p값이 아주 작아집니다. 효과의 크기를 따로 보세요.
• "0.05 아래면 진짜, 위면 가짜." 0.049와 0.051은 같은 증거입니다. 0.05는 관례로 정한 선입니다.
• "p값이 작으면 실험이 잘 설계된 것이다." p값은 우연만 따집니다. 비교 모둠, 무작위 배정 같은 설계의 문제는 따로 확인해야 합니다.

연습 문제 (3분)

1. 1교시 연습 문제의 동전을 다시 봅니다. 이번에는 10번 던져 앞면이 8번 나왔습니다. "공정한 동전"이 귀무가설일 때 단측 p값은 얼마일까요? (힌트: 10개 중 8개, 9개, 10개를 고르는 방법의 수는 45, 10, 1가지이고 전체 결과는 $2^{10} = 1{,}024$가지입니다.) 유의수준 0.05에서 판정은?
2. 어느 기사에 "p = 0.03으로, 이 약이 효과가 있을 확률은 97%로 나타났다"는 문장이 있습니다. 어떻게 고쳐 써야 할까요?
3. 같은 공부법을 다른 학원에서 학생 100명에게 시켰더니 60명이 좋아졌습니다(단측 p ≈ 0.028). 20명 중 15명(단측 p ≈ 0.021)과 비교하면 p값은 비슷합니다. 두 실험 중 좋아진 비율이 더 높은 쪽은 어디이고, 이 비교에서 무엇을 배울 수 있을까요?
4. 다른 학원의 실험에서 학생 12명 중 8명이 좋아졌고, 단측 p값은 약 0.19였습니다. 학원은 "효과는 없었다"고 발표했습니다. 이 발표의 문제는 무엇일까요?

풀이

1. 앞면 8개 이상인 결과는 45 + 10 + 1 = 56가지이므로 p = 56 / 1,024 ≈ 0.055입니다. 0.05보다 크니 유의수준 0.05에서 "공정한 동전"을 기각하지 못합니다. 동전이 치우쳤다고 말할 증거가 부족할 뿐, 공정하다는 것이 증명된 것은 아닙니다.
2. "약이 효과가 없다고 가정하면, 이번만큼 큰 차이가 우연히 나올 확률은 3%다" 정도로 써야 합니다. 효과가 있을 확률이 97%라는 말은 p값에서 나오지 않습니다.
3. 좋아진 비율은 20명 중 15명(75%)이 100명 중 60명(60%)보다 높습니다. 그런데 p값은 비슷합니다. 100명 실험은 효과가 더 작아도 표본이 커서 비슷한 p값이 나온 것입니다. p값만 보고 효과의 크기를 비교할 수 없습니다.
4. 12명은 작은 표본입니다. p값이 크다는 것은 "효과가 있다고 말할 증거가 부족하다"는 뜻이지, 효과가 없다는 증거가 아닙니다. "이 실험만으로는 효과를 확인하지 못했다"가 정확한 표현입니다.

하린이 "통계적으로 입증"을 "우연만으로는 드문 결과지만, 비교 모둠이 없어 공부법의 효과라고 단정할 수 없다"로 고친 초고를 넘기자, 문 데스크가 다음 보도자료를 흔듭니다. "그럼 이건? '초콜릿 먹으면 살 빠진다, p = 0.04'. 0.05보다 작으니까 유의한 거잖아. 비교 모둠도 있대." 강 선배가 보도자료의 표를 한참 들여다보더니 묻습니다. "몇 가지를 쟀어?" 7교시에서는 p < 0.05를 통과한 결과도 왜 틀릴 수 있는지, 헛짚음과 놓침, 검정력, 그리고 검정을 여러 번 할 때 생기는 함정을 다룹니다.