AI가 틀리는 방식: 과적합, 편향, 환각

개막 전날 아침, 특별전 준비실은 마지막 설명판을 붙이느라 분주합니다. 준이는 어제 챗봇에게서 받은 답이 마음에 걸렸는지 일찍 와 있었습니다. "AI가 엄청 자신 있게 말했거든요. 연도도 딱, 이름도 딱. 근데 다 틀렸잖아요. 일부러 그런 거예요?"

나래도 궁금했습니다. 지난 일곱 전시실에서 본 모델은 모두 숫자를 계산할 뿐이었습니다. 속이려는 마음이 들어갈 자리는 없어 보였습니다. "그럼 왜 틀린 걸 그렇게 그럴듯하게 말하죠?"

백 박사가 마지막 전시실의 빈 벽을 가리킵니다. "거짓말은 속이려는 마음이 있어야 하죠. 모델에는 그런 마음이 없습니다. 대신 모델이 틀리는 데에는 몇 가지 정해진 방식이 있어요. 오늘은 그 방식을 세 가지로 나눠 전시합시다. 외우기만 하는 것, 치우친 자료로 배우는 것, 그리고 그럴듯한 말을 지어내는 것."

이번 교시에서는 과적합, 편향, 환각을 차례로 보고, 사람이 무엇을 확인해야 하는지 정리합니다. 마지막으로 특별전 전체의 동선을 따라 강의를 정리합니다.

8-1. 외우기와 이해하기: 과적합 (12분)

1교시에서 훈련 자료와 시험 자료를 나눈 이유를 떠올려 봅시다. 학습은 훈련 자료로 하지만, 정말 알고 싶은 것은 처음 보는 자료에서도 맞히는가(일반화) 입니다. 이번 실습대는 그 차이를 곡선으로 보여 줍니다.

과수원의 사과 24개를 조사했다고 합시다. 가로축은 사과가 수확 전에 햇볕을 쬔 날 수(일), 세로축은 당도(브릭스)입니다. 진짜 관계는 햇볕을 많이 쬘수록 당도가 오르다가 점점 덜 오르는 완만한 곡선입니다. 여기에 사과마다 다른 잡음(표준적인 크기 0.5 브릭스)이 더해져 있습니다. 24개 중 12개(채운 남색 점)로 곡선을 맞추고, 나머지 12개(속이 빈 주황 점)는 시험용으로 숨겨 둡니다.

곡선은 다항식으로 맞춥니다. 1차는 직선, 2차는 한 번 휘는 곡선이고, 차수가 하나 오를 때마다 곡선이 한 번 더 휠 수 있습니다. $d$차 다항식은 조절할 숫자(매개변수)가 $d + 1$개입니다. 맞추는 방법은 점과 곡선 사이 세로 거리의 제곱을 모두 더한 값이 가장 작아지는 곡선을 고르는 것(최소제곱)입니다.

오차는 점마다 곡선과의 세로 거리를 제곱해 평균을 내고 제곱근을 씌운 값입니다. 대략 "평균적으로 몇 브릭스 빗나가나"로 읽으면 됩니다. 훈련 점으로 잰 것이 훈련 오차, 시험 점으로 잰 것이 시험 오차입니다.

아래 실습대의 위 그래프에서 남색 곡선이 훈련 점만으로 맞춘 다항식이고, 옅은 주황 세로선은 시험 점과 곡선 사이의 거리입니다. 아래 작은 그래프는 차수별 훈련 오차(남색)와 시험 오차(주황)이고, 회색 점선이 지금 차수입니다. 2를 넘는 오차는 맨 위에 삼각형과 숫자로 표시합니다. 오른쪽에서 '차수 올려 보기'를 누르거나 차수 슬라이더를 움직여 보세요. '진짜 관계 보기'를 켜면 데이터를 만든 곡선이 회색 점선으로 나옵니다.

첫 화면의 점들로 잰 오차를 몇 개 골라 보면 이렇습니다.

차수	매개변수 수	훈련 오차	시험 오차	이렇게 읽는다
1 (직선)	2	0.72	0.68	너무 단순하다(과소적합). 휘는 흐름을 못 따라간다
2	3	0.57	0.62	알맞다. 시험 오차가 가장 작다
3	4	0.39	0.85	훈련 오차가 잡음 크기(0.5)보다 작아졌다. 잡음까지 따라가기 시작
7	8	0.25	1.79	과적합
11	12	0	30.79	12개 점을 모두 외웠다

세 가지를 읽을 수 있습니다.

1. 훈련 오차는 차수를 올릴수록 줄기만 한다. 곡선이 더 자유롭게 휠 수 있으니 훈련 점에 더 가까이 붙습니다. 매개변수가 12개가 되면 점 12개를 모두 정확히 지나가서 오차가 0이 됩니다. 훈련 오차만 보면 11차가 '최고의 모델'입니다.
2. 시험 오차는 줄다가 다시 커진다. 처음 보는 점에서 잘 맞히는 곡선은 2차였습니다. 그 뒤로는 곡선이 훈련 점의 잡음까지 따라 휘면서, 점과 점 사이에서 엉뚱하게 출렁입니다.
3. 잡음보다 더 잘 맞힐 수는 없다. 이 자료의 잡음은 0.5 브릭스입니다. 훈련 오차가 0.5보다 한참 작다면, 곡선이 흐름이 아니라 우연을 외우고 있다는 신호입니다.

이렇게 훈련 자료에는 지나치게 잘 맞지만 새 자료에서는 틀리는 상태를 과적합(overfitting) 이라고 합니다. 시험 문제의 답을 통째로 외운 학생이, 숫자만 바꾼 문제에서 무너지는 것과 같습니다. 반대로 모델이 너무 단순해서 훈련 자료조차 잘 못 맞히는 상태는 과소적합(underfitting) 입니다.

실제 AI는 과적합을 이렇게 다룹니다.

• 시험 자료를 따로 떼어 둔다. 학습에 한 번도 쓰지 않은 자료로 재야 일반화를 알 수 있습니다. 시험 자료를 보면서 모델을 이리저리 고르다 보면 그 자료마저 '외우게' 되므로, 마지막 확인용 자료를 하나 더 남겨 두기도 합니다.
• 자료를 늘린다. 점이 많아지면 잡음 하나하나를 따라 휘기 어려워집니다.
• 학습을 일찍 멈춘다. 학습하는 동안 시험 오차가 다시 오르기 시작하면 멈춥니다.

대형 언어 모델도 예외가 아닙니다. 학습 자료에 여러 번 나온 문장을 거의 그대로 다시 내놓는 일이 있습니다. 외운 것을 꺼내는 셈입니다.

8-2. 치우친 자료, 치우친 판단: 편향 (11분)

1교시의 사과와 배로 돌아갑니다. 이번에는 자료를 조금 다르게 모았습니다. 사과의 무게와 붉은 정도를 재어 자료를 모으는데, 붉은 사과는 많이 모았고 초록 사과(풋사과처럼 초록빛이 도는 품종)는 두 개밖에 못 구했습니다. 모델은 2교시의 경사하강법으로 경계선을 300번 고쳐 가며 배웁니다.

아래 실습대의 가로축은 무게(g), 세로축은 붉은 정도(0–1)입니다. 남색은 사과(원은 붉은 사과, 마름모는 초록 사과), 청록은 배입니다. 채운 점은 훈련 자료이고, 속이 빈 점은 시험 자료입니다. 시험 자료는 붉은 사과, 초록 사과, 배를 20개씩 고르게 모았습니다. 회색 선이 경계선이고, 옅은 남색 쪽은 사과로, 옅은 청록 쪽은 배로 판정합니다. 틀린 시험 점은 진홍색 테두리로 바뀝니다. 오른쪽 표는 무리별 훈련 개수와 시험 정확도입니다.

치우친 자료로 배운 모델의 성적표는 이렇습니다.

무리	훈련 자료 수	시험 정확도 (치우친 자료)	시험 정확도 (고르게 한 자료)
붉은 사과	28 → 15	100%	100%
초록 사과	2 → 15	20% (20개 중 4개)	100%
배	30 → 30	100%	100%

무슨 일이 일어났을까요? 훈련 자료의 사과는 거의 다 붉었습니다. 그러니 "붉으면 사과, 덜 붉으면 배"라는 규칙만으로도 훈련 자료를 거의 다 맞힐 수 있었습니다. 모델은 그 쉬운 규칙을 배웠습니다. 초록 사과는 덜 붉으니 배 쪽으로 떨어집니다. 모델은 자료에 있는 것만 배웁니다. 자료에 거의 없던 무리에서는 틀려도, 그 사실을 모델 스스로는 알 길이 없습니다. 이렇게 자료의 치우침이 판단의 치우침으로 옮겨 가는 것을 편향(bias) 이라고 부릅니다.

고르게 한 자료에서는 가벼운 초록 사과와 무거운 배를 가르려면 무게도 봐야 합니다. 그래서 경계선이 거의 세로로 서며 무게를 더 중요하게 보게 됩니다. 자료를 늘린 것이 아니라 구성을 바꾼 것만으로 생긴 변화입니다.

더 조심해야 할 점이 있습니다. 전체 정확도는 이 문제를 감출 수 있습니다. 시험 자료도 훈련 자료처럼 붉은 사과 28개, 초록 사과 2개, 배 30개로 모았다면 어떨까요? 초록 사과 두 개 중 하나도 못 맞혀도 전체 정확도는 60개 중 58개, 약 97%입니다. "정확도 97%"라는 숫자 뒤에, 한 무리에서는 거의 쓸모없는 모델이 숨어 있을 수 있습니다. 그래서 무리별 정확도를 따로 봐야 합니다.

실제 AI에서도 같은 일이 일어납니다. 얼굴 인식이 학습 자료에 적게 나온 사람들에게서 더 자주 틀린다는 연구 결과가 여러 차례 보고되었습니다. 5교시에서 본 단어 벡터의 편향도 뿌리가 같습니다. 사람이 쓴 글에 있는 치우침을 단어 벡터가 그대로 배웁니다. 편향은 누가 일부러 넣지 않아도, 자료를 모으는 방식만으로 생깁니다.

8-3. 그럴듯하게 틀리기: 환각 (9분)

이제 준이의 질문입니다. 6교시에서 본 대로 언어 모델은 다음 토큰의 확률을 계산하고, 그중 하나를 골라 이어 붙입니다. 7교시의 어텐션은 그 확률을 계산할 때 문맥을 넓게 보게 해 줍니다. 어디에도 "이 문장이 사실인가"를 따로 확인하는 단계는 없습니다.

두 문장의 빈칸을 채운다고 해 봅시다. 아래 확률은 원리를 보여 주려고 지어낸 설명용 숫자입니다.

문장	다음 토큰 후보와 확률 (설명용)
"대한민국의 수도는 ___"	서울 0.97, 세종 0.02, …
"한빛과학관은 ___년에 문을 열었다"	1987 0.11, 1992 0.10, 1985 0.09, 1990 0.09, …

첫 문장은 학습 자료에 수없이 나왔을 사실입니다. 확률이 한 답에 몰려 있습니다. 둘째 문장은 작은 지방 과학관의 개관 연도라서 학습 자료에 거의 없었을 것입니다. 그래서 확률이 그럴듯한 연도 여럿에 고르게 퍼져 있습니다. 그런데 모델은 둘 중 무엇이든 하나를 고릅니다. 가장 높은 것을 골라도 맞을 확률은 11%뿐이고, 6교시처럼 확률대로 뽑으면 물을 때마다 다른 연도가 나올 수도 있습니다.

결정적인 점은 두 문장이 똑같이 매끄럽다는 것입니다. 확률이 몰려 있든 퍼져 있든, 고른 뒤의 문장은 똑같이 자신 있는 말투입니다. 학습 자료의 글, 즉 백과사전과 기사가 대개 그런 말투이기 때문입니다. 연도를 하나 고르고 나면, 다음 토큰으로는 그 연도에 어울리는 그럴듯한 이야기(첫 관장의 이름 같은 것)가 이어집니다.

이처럼 사실이 아닌 내용을 그럴듯하게 만들어 내는 것을 환각(hallucination) 이라고 부릅니다. 핵심은 이것입니다.

환각을 줄이는 방법도 원리에서 나옵니다.

• 근거 자료를 문맥에 넣어 준다. 질문과 관련된 문서를 먼저 찾아 문맥 창에 함께 넣으면(7교시), 모델이 그 문서를 어텐션으로 참고해 답합니다. 이 방식을 검색 증강 생성(retrieval-augmented generation) 이라고 합니다. 문서에 없는 내용이나 문서를 잘못 읽은 부분에서는 여전히 틀릴 수 있습니다.
• "모른다"고 답하도록 추가로 학습시킨다. 확신이 없을 때 모른다고 말하는 답에 좋은 점수를 주며 더 가르칩니다. 줄일 수는 있지만 없애지는 못합니다.
• 사람이 확인한다. 결국 가장 확실한 방법입니다. 다음 절에서 정리합니다.

준이의 질문에 대한 백 박사의 답은 이렇습니다. "거짓말이 아니라, 모르는 것도 아는 것과 같은 말투로 이어 쓰는 거예요. 그러니까 사실이 중요한 답은 늘 확인해야 합니다."

8-4. 사람이 확인해야 할 것 (5분)

세 가지 틀리는 방식은 저마다 드러나는 모습이 다르고, 확인할 것도 다릅니다.

틀리는 방식	이렇게 드러난다	사람이 확인할 것
과적합	개발할 때 쓴 자료에서는 잘 맞는데, 새 상황에서 갑자기 틀린다	성능을 학습에 쓰지 않은 자료로 쟀는가? 내 상황이 그 자료와 비슷한가?
편향	전체 성적은 좋은데 특정 무리에서 자주 틀린다	무리별 성적이 있는가? 학습 자료에 나와 같은 경우가 충분히 있었는가?
환각	그럴듯하고 자신 있는 말투로 없는 사실을 만든다	숫자·날짜·이름·인용·출처를 원래 자료에서 확인했는가?

여기에 두 가지를 덧붙입니다.

• 결정의 무게에 맞춰 확인한다. 놀이로 쓰는 답과, 건강·돈·법·사람에 대한 판단에 쓰는 답은 확인할 깊이가 다릅니다. 무거운 결정일수록 AI의 답은 출발점으로만 쓰고, 원자료와 전문가의 판단을 거칩니다.
• AI를 쓰지 말라는 뜻이 아니다. 틀리는 방식을 알면, 어디서 믿고 어디서 확인할지 알 수 있습니다. 도구의 한계를 아는 것이 도구를 잘 쓰는 첫걸음입니다.

8-5. 강의 정리: 특별전의 동선 (5분)

리허설이 시작되기 전, 나래는 입구에 걸 안내도를 마지막으로 점검합니다. 관람객은 여덟 전시실을 차례로 지나며, 작은 모델이 배우고 계산하는 모습을 직접 돌려 봅니다.

전시실	관람객 질문	한 줄 요약
1	AI는 누가 다 가르쳐 줘요?	규칙을 적는 대신 예시에서 배운다. 학습은 틀린 점을 볼 때마다 경계선을 조금씩 옮기는 것이다
2	AI는 어떻게 점점 똑똑해져요?	얼마나 틀렸는지를 손실 하나로 재고, 기울기를 따라 골짜기로 조금씩 내려간다(경사하강법)
3	AI 머릿속에도 뇌세포가 있어요?	인공 뉴런은 가중합과 활성화일 뿐이다. 층을 쌓으면 직선 하나로 못 가르던 것을 가른다
4	AI는 고양이를 어떻게 알아봐요?	사진은 숫자 격자다. 작은 필터가 미끄러지며 선, 모양, 부분, 물체를 차례로 찾는다
5	AI는 단어 뜻을 알아요?	단어는 의미 공간의 점이다. 가까우면 뜻이 비슷하고, 자료의 편향도 함께 배운다
6	챗봇은 어떻게 말을 만들어요?	다음 토큰의 확률을 계산해 하나씩 고른다. 온도가 고르는 방식을 바꾼다
7	AI는 앞에 나온 말을 기억해요?	어텐션으로 문맥 창 안의 단어를 매번 다시 훑어, 단어의 뜻을 문맥에 맞게 섞는다
8	AI는 거짓말을 왜 해요?	외우기(과적합), 치우친 자료(편향), 그럴듯한 지어내기(환각). 사실은 사람이 확인한다

여덟 줄을 한 줄로 줄이면, 백 박사가 준비 내내 되풀이한 말이 됩니다. "생각한다기보다, 숫자를 조금씩 맞춰 가는 거예요." 예시에서 배우고(1), 틀린 만큼 고치고(2), 그 숫자를 층으로 쌓아(3, 4) 단어와 문장까지 다루게 된 것(5, 6, 7)이 지금의 AI입니다. 그리고 숫자를 맞춰 가는 방식이기 때문에 틀리는 방식도 정해져 있습니다(8).

용어 정리

용어	쉬운 말	실제 AI에서는
일반화 (generalization)	처음 보는 자료에서도 맞히기	학습에 쓰지 않은 시험 자료로 잰다
과적합 (overfitting)	훈련 자료를 외워 새 자료에서 틀리기	시험 자료 점검, 자료 늘리기, 일찍 멈추기로 막는다
과소적합 (underfitting)	너무 단순해서 훈련 자료도 못 맞히기	모델을 키우거나 더 오래 배운다
편향 (bias)	자료의 치우침이 판단의 치우침이 되는 것	무리별 성적을 따로 재고, 자료 구성을 살핀다
환각 (hallucination)	그럴듯하지만 사실이 아닌 내용을 만들기	근거 자료를 문맥에 넣고, 사람이 확인한다

실제 AI에서는

실습대의 모델은 매개변수가 3개(사과와 배)에서 12개(다항식)였습니다. 실제 대형 모델은 수십억 개 이상이고, 학습 자료도 그보다 훨씬 많습니다. 규모가 커지면 많은 일을 놀랍도록 잘하게 되지만, 이번 교시의 세 가지 틀리는 방식이 사라지지는 않습니다. 시험 자료와 다른 상황에서는 여전히 틀릴 수 있고, 자료에 적게 나온 무리에서는 여전히 약하며, 학습 자료에 드물었던 사실은 여전히 지어낼 수 있습니다. 규모는 틀리는 횟수를 줄여 줄 수 있어도, 틀리는 원리를 바꾸지는 않습니다.

자주 하는 착각 (4분)

• "훈련 자료에서 정확도가 높으면 좋은 모델이다." 과적합된 모델은 훈련 자료에서 100점을 받습니다. 실력은 학습에 쓰지 않은 자료로 잽니다.
• "자료가 많으면 편향은 없다." 양보다 구성이 중요합니다. 실습대에서 훈련 자료 수는 60개 그대로였고, 구성만 바꿨는데 초록 사과 정확도가 20%에서 100%가 되었습니다.
• "전체 정확도 97%면 누구에게나 97%다." 전체 숫자는 작은 무리의 실패를 감춥니다. 무리별 정확도를 봐야 합니다.
• "AI가 틀린 말을 하는 건 거짓말을 하려는 것이다." 모델에는 속이려는 마음이 없습니다. 그럴듯한 다음 단어를 고를 뿐이라, 모르는 것도 아는 것과 같은 말투로 이어 씁니다.
• "자신 있게 말하면 맞는 말이다." 말투는 학습 자료에서 온 것이고, 사실 여부와 상관이 없습니다.

연습 문제 (4분)

1. 점 10개에 9차 다항식을 최소제곱으로 맞추면 훈련 오차는 얼마가 될까요? 이 곡선을 믿고 새 점을 예측해도 될까요?
2. 한 팀이 시험 자료의 오차를 보면서 차수를 1부터 11까지 바꿔 보고, 시험 오차가 가장 작은 차수를 골랐습니다. 그 시험 오차를 "처음 보는 자료에서의 성능"이라고 발표해도 될까요?
3. 어떤 분류 모델의 전체 시험 정확도가 98%입니다. 시험 자료의 95%는 무리 A, 5%는 무리 B이고, 무리 B의 정확도는 60%입니다. 무리 A의 정확도는 얼마일까요?
4. 준이가 AI에게 "공룡에 관한 어린이 책 다섯 권을 지은이와 함께 추천해 줘"라고 했더니, 그중 한 권은 어디서도 찾을 수 없었습니다. 왜 이런 일이 생기는지 이번 교시의 말로 설명하고, 무엇을 확인해야 하는지 말해 보세요.

풀이

1. 9차 다항식의 매개변수는 10개라서 점 10개를 모두 정확히 지나갑니다. 훈련 오차는 0입니다. 하지만 이것은 잡음까지 외운 결과라서, 점 사이와 양 끝에서 크게 출렁이기 쉽습니다. 새 점 예측에는 믿기 어렵습니다. 실습대의 11차 곡선(시험 오차 30.79)과 같은 상황입니다.
2. 안 됩니다. 시험 오차를 보며 차수를 골랐으니, 시험 자료도 고르는 데 '쓰인' 셈입니다. 그 시험 자료에 우연히 잘 맞는 차수가 뽑혔을 수 있습니다. 고르는 데 한 번도 쓰지 않은 자료를 따로 남겨 두고, 마지막에 그것으로 재야 합니다.
3. 전체 정확도는 무리별 정확도를 비율만큼 섞은 가중 평균입니다. $0.95 \times A + 0.05 \times 0.60 = 0.98$에서 $0.95 \times A = 0.95$이므로 $A = 100\%$입니다. 전체 98%라는 숫자 안에 정확도 60%인 무리가 숨어 있습니다.
4. 환각입니다. 모델은 '어린이 공룡책'에 어울리는 그럴듯한 제목과 지은이 이름을 다음 토큰으로 이어 붙였을 뿐, 그 책이 실제로 있는지 확인하는 단계가 없습니다. 제목과 지은이를 도서관 목록이나 출판 정보에서 하나씩 확인해야 합니다.

오후 네 시, 개막 전날 리허설이 시작됩니다. 첫 관람객은 준이입니다. 입장권 대신 받은 안내도를 손에 들고, 준이는 첫 전시실부터 천천히 돌아봅니다.

첫 전시실에서는 사과와 배 사이의 경계선이 틀린 점을 만날 때마다 조금씩 움직입니다. 둘째 전시실에서는 공이 골짜기로 굴러 내려가고, 학습률을 너무 키우자 반대편 비탈로 튀어 오릅니다. 셋째 전시실의 작은 신경망이 XOR 자료를 색칠하는 동안, 준이는 "뇌세포가 아니라 곱하기랑 더하기네요" 하고 중얼거립니다. 넷째 전시실 그림판에 고양이 얼굴을 그리고 필터가 선을 찾아내는 것을 보고, 다섯째 전시실에서는 의미 지도의 '왕'에서 '남자'를 빼고 '여자'를 더한 화살표가 '여왕' 근처에 닿는 것을 봅니다. 여섯째 전시실의 이어 쓰기에서 온도를 높였다 낮췄다 해 보고, 일곱째 전시실에서는 두 '배'의 점이 서로 다른 무리로 갈라지는 것을 확인합니다.

마지막 전시실에서 준이는 다항식 곡선이 점 사이에서 크게 출렁이는 것을 보며 웃고, 초록 사과가 배로 판정되는 화면 앞에서는 한참을 서 있습니다. 그리고 설명판을 끝까지 읽은 뒤 나래에게 말합니다. "어제 그 AI, 거짓말한 게 아니었네요. 우리 과학관 이야기를 별로 못 읽어서, 그럴듯한 숫자를 고른 거예요. 그러니까 중요한 건 제가 확인해야 하고요." 나래가 웃으며 안내도 뒷면의 빈칸을 가리킵니다. "그 말, 여기 관람 소감으로 써 줄래?" 백 박사는 아무 말 없이 고개만 끄덕입니다. 과장 없는 전시가 된 것 같았습니다.

이 강의는 여기서 끝납니다. 여덟 교시 동안 예시에서 배우는 분류, 오차와 경사하강법, 신경망, 합성곱, 단어 벡터, 언어 모델, 어텐션, 그리고 AI가 틀리는 방식을 차례로 지나왔습니다. 모두 브라우저 안의 작은 모델로 직접 학습시키고 계산해 본 것들이고, 실제 AI는 같은 원리를 엄청난 규모로 되풀이합니다. 식은 잊어도 괜찮습니다. 다만 AI의 답을 만났을 때 "무슨 자료로 배웠을까", "처음 보는 경우는 아닐까", "그럴듯한 것과 사실인 것을 구별했나"를 한 번씩 떠올린다면 이 강의의 목적은 이룬 것입니다. AI를 마법이 아니라 숫자를 맞춰 가는 도구로 볼 수 있게 되었다면, 이제 그 도구를 더 잘 쓸 차례입니다.