p < 0.05의 함정: 오류, 검정력, 다중비교

화요일 아침, 하린은 어제 문 데스크가 두고 간 보도자료를 다시 펼칩니다. 참가자 16명을 8명씩 두 모둠으로 나눴고, 한 모둠만 3주 동안 매일 초콜릿을 먹었습니다. 비교 모둠도 있고 p값도 0.04입니다. 어제 배운 대로라면 통과입니다.

강 선배가 어제 던진 질문을 다시 묻습니다. "몇 가지를 쟀어?" 하린이 보도자료 맨 뒤의 부록을 찾아냅니다. 몸무게, 허리둘레, 콜레스테롤, 혈압, 혈당, 잠의 질, 기분… 모두 20가지를 쟀습니다. 본문에 나온 것은 몸무게 하나뿐입니다. 나머지 19가지는 p값이 0.05를 넘었습니다.

"20가지를 재서 하나가 걸렸으면, 그건 거의 예정된 결과야." 강 선배가 말합니다. "그리고 한 모둠에 8명이면 진짜 효과가 있어도 잡기 어려워. 오늘은 검정이 틀리는 두 가지 방식부터 보자."

이번 교시에서는 가설검정이 틀리는 두 방향(헛짚음과 놓침), 진짜 효과를 잡아낼 확률인 검정력, 그리고 검정을 여러 번 할 때 생기는 함정을 차례로 봅니다. 마지막으로 이 보도자료와 꼭 닮은 2015년의 실제 장난 연구를 소개합니다.

7-1. 검정이 틀리는 두 가지 방식: 헛짚음과 놓침 (8분)

가설검정의 판정은 "유의하다" 아니면 "유의하지 않다" 둘 중 하나입니다. 실제 세상도 "효과가 없다" 아니면 "효과가 있다" 둘 중 하나입니다. 그러면 네 가지 경우가 생깁니다.

• 1종 오류(type I error) 는 효과가 없는데 "있다"고 판정하는 것입니다. 이 강의에서는 헛짚음이라고 부릅니다. 영어로는 거짓 양성(false positive)이라고도 합니다.
• 2종 오류(type II error) 는 효과가 있는데 "없다"(유의하지 않다)고 판정하는 것입니다. 놓침, 거짓 음성(false negative)이라고도 합니다.

화재경보기를 떠올리면 쉽습니다. 불이 안 났는데 울리면 헛짚음, 불이 났는데 조용하면 놓침입니다. 경보기를 예민하게 맞추면 놓침은 줄지만 헛짚음이 늘고, 둔하게 맞추면 그 반대가 됩니다. 두 오류를 동시에 0으로 만들 수는 없습니다.

6교시의 유의수준 $\alpha = 0.05$는 바로 헛짚음의 확률입니다. 효과가 정말 없는 것을 검정하면 20번에 1번꼴로 "유의"가 나옵니다. 이것은 검정이 잘못된 것이 아니라, 우리가 받아들이기로 한 위험입니다. 이 사실이 7-4절의 열쇠입니다.

기호 읽는 법

7-2. 검정력: 진짜 효과를 잡아낼 확률 (10분)

헛짚음의 확률은 우리가 $\alpha$로 정합니다. 그런데 놓침의 확률 $\beta$는 무엇이 정할까요? 효과의 크기와 표본의 크기입니다.

먼저 효과의 크기를 재는 자를 정합니다. 몸무게처럼 단위가 있는 값은 사람마다 흩어진 정도가 다르니, 평균 차이를 표준편차로 나눠 효과 크기(effect size) $d$로 씁니다. 3주 동안 몸무게 변화의 표준편차가 2kg인데 초콜릿 모둠이 평균 1kg 더 빠졌다면 $d = 1/2 = 0.5$입니다. 흔히 0.2를 작은 효과, 0.5를 중간 효과, 0.8을 큰 효과로 어림합니다.

아래 실습대의 가로축은 실험에서 관측된 두 모둠의 평균 차이를 표준편차 단위로 잰 값입니다. 같은 실험을 여러 번 하면 관측된 차이는 실험마다 달라지고, 그 흩어짐이 종 모양을 이룹니다. 회색 종은 효과가 없을 때(참 차이 0), 남색 종은 참 효과가 $d$일 때 관측될 차이의 분포입니다. 진한 세로선 두 개가 검정의 기준선입니다. 관측된 차이가 기준선 바깥에 떨어지면 "유의"입니다(양측 검정). 진홍색 넓이가 $\alpha$(헛짚음), 청록색 넓이가 $\beta$(놓침), 남색으로 칠한 넓이가 검정력입니다. 오른쪽에서 효과 크기 $d$, 모둠당 인원 $n$, 유의수준 $\alpha$를 바꾸면 곡선이 옮겨 갑니다. 'n 키우며 보기'를 누르면 $n$이 차례로 커집니다.

실습대가 보여 준 것을 숫자로 정리합니다. 두 종의 폭(표준오차)은 효과 크기 단위로 $\sqrt{2/n}$이고, 기준선은 그 1.96배 자리에 있습니다. 검정력은 대략 이렇게 계산됩니다.

$d = 0.5$, $n = 20$이면 $\sqrt{2/20} \approx 0.316$, $0.5 / 0.316 \approx 1.58$이고, $P(Z > 1.96 - 1.58) = P(Z > 0.38) \approx 0.35$입니다. 진짜 효과가 있어도 세 번에 두 번은 놓치는 실험입니다.

연구를 설계할 때는 보통 검정력 80%를 목표로 잡습니다. 이때 쓸 만한 어림이 있습니다. 모둠당 인원은 대략 $16 / d^2$명이 필요합니다. 중간 효과($d = 0.5$)는 $16/0.25 = 64$명, 작은 효과($d = 0.2$)는 $16/0.04 = 400$명입니다. 효과가 절반으로 작아지면 사람은 4배가 필요합니다. 4교시의 "4배 모아야 2배 정확"과 같은 이야기입니다.

검정력이 낮은 실험에는 문제가 하나 더 있습니다. 그런 실험에서 어쩌다 "유의"가 나오면, 그 결과는 대개 효과를 부풀려 보여 줍니다. 관측된 차이가 기준선을 넘을 만큼 우연히 크게 나왔을 때만 유의해지기 때문입니다. 참 효과가 $d = 0.5$이고 모둠당 8명인 실험을 수십만 번 흉내 내 보면, 유의하게 나온 실험들의 관측 효과는 평균 약 1.25로 참값의 2.5배쯤입니다. 작은 연구의 놀라운 효과 크기는 일단 깎아서 들어야 합니다.

7-3. 큰 표본은 사소한 차이도 '유의'로 만든다 (6분)

검정력 이야기를 반대쪽에서 보면 6교시의 "유의 ≠ 중요"가 다시 나옵니다. 실습대에서 효과 크기를 0.05까지 내리고 모둠당 인원을 5,000명으로 올려 보세요. 종이 너무 좁아지면 가로축이 저절로 확대되고 오른쪽 위에 배율이 나옵니다. 두 종은 거의 붙어 있지만 아주 좁아서, 검정력이 약 71%나 됩니다.

몸무게 변화의 표준편차가 2kg이라면 $d = 0.05$는 100g입니다. 모둠당 5,000명인 연구에서 관측된 차이가 정확히 100g이었다면 p값은 약 0.012로 "유의"합니다. 그러나 3주 동안 초콜릿을 먹어서 100g이 더 빠진다는 결과는 누구의 생활도 바꾸지 못합니다.

그래서 숫자 기사를 읽을 때는 언제나 두 가지를 따로 묻습니다.

• 우연인가? p값, 또는 신뢰구간이 0을 포함하는지가 답합니다.
• 얼마나 큰가? 효과의 크기와 단위가 답합니다. "몇 kg?", "몇 %p?", "100명 중 몇 명?"처럼 실제 단위로 물어야 합니다.

좋은 연구 보고는 둘을 함께 적습니다. 예를 들어 "초콜릿 모둠이 평균 0.1kg 더 줄었다(95% 신뢰구간 0.02~0.18kg, p = 0.012)"처럼 씁니다. 5교시에서 배운 신뢰구간은 '유의한가'와 '얼마나 큰가'를 한 줄에 보여 주는 좋은 도구입니다.

7-4. 20번 검정하면 하나는 걸린다: 다중비교 (10분)

이제 초콜릿 보도자료의 진짜 문제로 갑니다. 측정 항목이 20가지였습니다. 초콜릿이 아무 효과가 없다고 해도, 항목 하나하나는 5%의 확률로 헛짚습니다. 그럼 20가지 중 적어도 하나가 헛짚을 확률은 얼마일까요?

항목들이 서로 따로 움직인다고 치면, 한 항목이 헛짚지 않을 확률은 0.95입니다. 20개 모두 헛짚지 않을 확률은 $0.95^{20} \approx 0.358$입니다. 따라서

효과가 하나도 없는데도 열에 여섯 번 넘게 "유의한 발견"이 하나 이상 나옵니다. 평균적으로는 $20 \times 0.05 = 1$개가 걸립니다. 이것을 다중비교(multiple comparisons) 문제라고 합니다.

젤리빈 20색을 하나씩 검정해 "○○색 젤리빈이 여드름의 원인"이라는 헤드라인이 나오는 과정을 그린 유명한 만화가 있습니다. 아래 실습대가 그 장면을 흉내 냅니다. 막대 20개가 젤리빈 20색이고, 실제로는 어느 색도 여드름과 관계가 없습니다. '20색 검정하기'를 누르면 막대가 한 색씩 솟습니다. 막대의 높이가 그 색의 p값입니다. 세로축은 로그 눈금이라 아래로 갈수록 p값이 작습니다. 회색 점선이 기준 0.05이고, 막대가 이 선 아래에서 멈추면 빨간 테두리가 생기고 그래프 아래에 가짜 헤드라인이 붙습니다. 오른쪽에는 지금까지 한 실험 가운데 한 색이라도 걸린 실험의 수가 쌓입니다.

해결책 중 가장 단순한 것은 본페로니 보정(Bonferroni correction) 입니다. 검정을 $m$번 한다면 기준을 $\alpha / m$로 낮춥니다. 20번이면 $0.05/20 = 0.0025$입니다. 그러면 20번 중 하나라도 헛짚을 확률은 $1 - (1 - 0.0025)^{20} \approx 0.049$로, 처음 의도했던 5% 안쪽으로 돌아옵니다.

공짜는 아닙니다. 기준이 엄격해지면 놓침이 늘어납니다. $d = 0.5$, 모둠당 64명인 실험의 검정력은 기준 0.05에서 약 81%였지만, 기준 0.0025에서는 약 42%로 떨어집니다. 7-1절의 화재경보기와 같은 맞바꿈입니다. 그래서 가장 좋은 처방은 보정 공식보다 처음부터 무엇을 검정할지 하나로 정해 두는 것입니다.

7-5. p-해킹, 그리고 2015년의 초콜릿 다이어트 장난 (8분)

다중비교는 여러 항목을 재는 것만으로 생기지 않습니다. 같은 데이터를 여러 방식으로 분석해도 똑같이 생깁니다. p값이 0.05 아래로 내려갈 때까지 분석을 이리저리 바꾸는 것을 p-해킹(p-hacking) 이라고 합니다. 일부러 속이려는 것이 아니어도 흔히 일어납니다.

• 여러 항목을 재고 유의한 것만 보고한다.
• 결과를 중간중간 보다가 유의해지는 순간 실험을 멈춘다.
• "튀는 값"을 뺄지 말지를 결과를 본 뒤 정한다.
• 남녀, 나이대처럼 모둠을 쪼개 보다가 걸린 쪽만 보고한다.

어느 하나도 검정을 여러 번 한 것과 다르지 않습니다. 그런데 보고서에는 마지막에 고른 검정 하나만 나오니, 읽는 사람은 몇 번 시도했는지 알 수 없습니다.

강 선배가 하린에게 기사 하나를 보여 줍니다. 2015년, 과학 기자 존 보해넌(John Bohannon)은 일부러 엉터리 연구를 만들어 언론이 얼마나 쉽게 속는지 보여 주었습니다. 참가자가 열댓 명뿐인 작은 실험이었고, 몸무게와 콜레스테롤, 잠의 질 등 18가지 항목을 쟀습니다. 그중 하나가 우연히 유의하게 나오자 "초콜릿을 먹으면 살이 빠진다"는 결과로 발표했고, 여러 나라 언론이 이를 그대로 보도했습니다. 18가지를 재면 효과가 없어도 적어도 하나가 걸릴 확률이 $1 - 0.95^{18}$, 약 60%입니다. 보해넌은 나중에 이 모든 것이 장난이었다고 밝혔습니다.

오늘의 보도자료도 구조가 똑같습니다. 한 모둠 8명, 측정 항목 20가지, 걸린 것 하나. 64%의 확률로 나오는 결과를 "발견"이라고 부른 것입니다.

이런 일을 막기 위한 장치가 두 가지 있습니다.

• 사전 등록(preregistration): 실험 전에 무엇을, 몇 명에게서, 어떻게 분석할지를 공개된 곳에 미리 적어 둡니다. 나중에 항목을 고르거나 분석을 바꾸면 드러납니다.
• 재현(replication): 다른 연구진이 같은 실험을 다시 해 봅니다. 2015년에 발표된 대규모 심리학 재현 연구에서는 이미 발표된 연구 100편을 다시 해 보았는데, 원래처럼 유의한 결과가 나온 것은 약 36%였습니다. 한 번의 p < 0.05가 얼마나 약한 증거인지 보여 준 사례입니다.

기사에서는

"p < 0.05로 통계적으로 유의한 효과가 확인됐다"는 문장을 만나면 다섯 가지를 묻습니다. 몇 명이었나(검정력)? 몇 가지를 재거나 몇 번 분석했나(다중비교)? 처음부터 그 항목을 보기로 정해 두었나(사전 등록)? 효과는 실제 단위로 얼마나 큰가? 다른 연구에서도 같은 결과가 나왔나(재현)? 하린의 초콜릿 기사는 결국 "20가지를 재서 하나가 걸린 결과로, 우연으로 충분히 설명된다"는 팩트체크가 됩니다.

자주 하는 착각 (4분)

• "p < 0.05면 헛짚었을 가능성은 5%뿐이다." 5%는 효과가 없는 것을 검정할 때 헛짚는 비율입니다. 검정을 20번 했다면 하나 이상 헛짚을 확률이 64%입니다.
• "유의하지 않았으니 효과가 없다." 검정력이 낮은 작은 실험은 진짜 효과도 자주 놓칩니다. 모둠당 20명, $d = 0.5$이면 놓칠 확률이 약 65%입니다.
• "작은 연구에서 큰 효과가 유의하게 나왔으니 더 확실하다." 검정력이 낮은 연구에서 유의하게 나온 효과는 대개 부풀려져 있습니다.
• "표본이 크고 p값이 아주 작으니 중요한 효과다." 큰 표본은 100g 같은 사소한 차이도 유의하게 만듭니다. 효과 크기를 실제 단위로 확인하세요.
• "보정만 하면 여러 번 검정해도 괜찮다." 보정하면 헛짚음은 줄지만 놓침이 늘어납니다. 무엇을 검정할지 미리 정하는 것이 먼저입니다.

연습 문제 (4분)

1. 어떤 연구가 효과 없는 영양제로 측정 항목 10가지를 검정했습니다. 적어도 하나가 기준 0.05에서 유의하게 나올 확률은 대략 얼마일까요? 본페로니 보정을 하면 기준은 얼마가 될까요?
2. 모둠당 15명으로 중간 효과($d = 0.5$)를 검정하는 실험의 검정력은 약 28%입니다. 이 실험에서 "유의하지 않음"이 나왔다면 무엇이라고 말할 수 있을까요?
3. 작은 효과($d = 0.2$)를 검정력 80%로 잡으려면 모둠당 대략 몇 명이 필요할까요? 중간 효과($d = 0.5$)와 비교하면 몇 배일까요?
4. 연구 A는 모둠당 1만 명으로 $d = 0.03$의 차이를 찾았고 p ≈ 0.034입니다. 연구 B는 모둠당 30명으로 $d = 0.6$의 차이를 찾았고 p ≈ 0.020입니다. 둘 다 "유의"합니다. 두 연구를 기사로 쓸 때 무엇이 달라야 할까요?

풀이

1. $1 - 0.95^{10} \approx 0.40$, 약 40%입니다. 본페로니 보정 기준은 $0.05 / 10 = 0.005$입니다.
2. 진짜 효과가 있어도 이 실험은 약 72%의 확률로 "유의하지 않음"을 냅니다. 그러니 "효과가 없다"고 말할 수 없고, "이 실험으로는 효과를 확인하지 못했다(표본이 작아 검정력이 낮다)"고 써야 합니다.
3. 어림식 $16 / d^2$에 넣으면 $16 / 0.04 = 400$명입니다(더 정확히 계산하면 약 393명). 중간 효과의 64명보다 약 6배 많습니다. 효과가 2.5배 작아지니 인원은 $2.5^2 = 6.25$배가 필요합니다.
4. 연구 A의 효과는 표준편차의 3%로 아주 작습니다. 표본이 커서 유의할 뿐 실생활에서 의미가 있는지는 따로 따져야 합니다. 연구 B의 효과는 20배 크지만 표본이 작아 부풀려졌을 수 있으니 재현이 필요합니다. 두 기사 모두 효과의 크기를 실제 단위로 적고, "유의하다"는 말만으로 비교하지 말아야 합니다.

초콜릿 팩트체크를 마감하고 나니 저녁입니다. 하린의 휴대전화가 울립니다. 지난주 건강검진을 받은 친구가 보낸 메시지입니다. "검사에서 양성이 나왔어. 정확도 99%짜리 검사래. 그럼 병일 확률이 99%라는 거지?" 하린은 "그렇겠지"라고 쓰려다 손을 멈추고, 답장을 내일로 미룹니다. 8교시에서는 조건부 확률과 베이즈 정리로 "정확도 99% 검사에서 양성"이 실제로 무슨 뜻인지 1만 명을 세어 가며 따져 봅니다.