규칙 대신 예시로: 머신러닝이란

월요일 아침, 한빛과학관 3층 회의실. 특별전 담당 큐레이터 나래가 화이트보드에 크게 씁니다. "«AI는 어떻게 생각하나», 개막까지 석 달." 미술사를 전공한 나래는 챗봇으로 전시 문구 초안을 다듬고 번역도 맡깁니다. 하지만 그 속이 어떻게 돌아가는지는 모릅니다. 그래서 대학 AI 연구실의 백도현 교수를 자문위원으로 모셨습니다. 모두 백 박사라고 부릅니다. 회의실 구석에는 과학관 방학 교실을 한 번도 빠지지 않은 단골, 초등학교 5학년 준이가 예비 관람객 대표로 앉아 있습니다.

회의가 시작되자마자 준이가 손을 듭니다. "AI는 누가 다 가르쳐 줘요? 사람이 '이건 고양이, 저건 강아지' 하고 규칙을 다 적어 넣는 거예요?" 나래도 고개를 끄덕입니다. "저도 그게 궁금했어요. 프로그램은 결국 사람이 시킨 대로만 하는 거잖아요?"

백 박사가 과일 바구니에서 사과 하나와 배 하나를 꺼내 탁자에 놓습니다. "그럼 둘을 구별하는 규칙을 한번 적어 볼까요?" 나래가 바로 답합니다. "사과는 빨갛고, 배는 누렇죠." 백 박사가 바구니에서 연둣빛 풋사과를 하나 더 꺼냅니다. "이건요? 그리고 햇빛을 많이 받아 볼이 붉어진 배도 있어요." 나래가 웃습니다. "규칙에 예외를 붙여야겠네요."

"예외에 또 예외가 붙죠. 그래서 요즘 AI는 다른 길로 갑니다. 규칙을 적는 대신 예시와 정답을 잔뜩 보여 주고, 둘을 가르는 기준을 프로그램이 스스로 맞춰 가게 하는 거예요. 생각한다기보다, 숫자를 조금씩 맞춰 가는 거죠. 첫 전시실은 그 모습을 보여 주면 됩니다."

이번 교시에서는 과일을 숫자로 바꾸고, 둘을 가르는 선을 손으로 그어 본 뒤, 기계가 그 선을 스스로 찾아가는 모습을 봅니다. 마지막에는 기계가 처음 보는 과일도 맞히는지 시험합니다.

1-1. 규칙을 적는 프로그램, 예시에서 배우는 프로그램 (8분)

우리가 흔히 아는 프로그램은 사람이 적은 규칙대로 움직입니다. "빨간색이 많으면 사과, 아니면 배." 이런 규칙은 이해하기 쉽고, 왜 그렇게 판단했는지도 바로 알 수 있습니다. 문제는 세상이 규칙보다 복잡하다는 것입니다. 풋사과는 빨갛지 않고, 어떤 배는 볼이 붉습니다. 조명이 노란 가게에서는 모든 과일이 누렇게 찍힙니다. 예외를 하나 막으면 다른 예외가 튀어나옵니다.

사진 속 고양이를 알아보는 규칙이라면 더 막막합니다. "귀가 뾰족하고 수염이 있으면 고양이"라고 적어도, 귀가 접힌 고양이와 옆모습 고양이, 반쯤 가려진 고양이는 어떻게 할까요? 사람은 고양이를 잘 알아보면서도, 어떻게 알아보는지는 말로 다 적지 못합니다.

머신러닝(machine learning, 기계 학습) 은 방향을 뒤집습니다. 사람이 규칙을 적는 대신, 정답이 붙은 예시를 많이 보여 줍니다. 프로그램은 예시를 보며 안에 든 숫자들을 조금씩 고쳐, 예시에 잘 맞는 기준을 스스로 만듭니다.

그러니 준이의 질문에는 이렇게 답할 수 있습니다. 사람이 가르치는 것은 맞다. 다만 규칙이 아니라 예시와 정답을 준다. 사진마다 "고양이", "강아지"라고 정답을 붙이는 일도 사람이 합니다. 이렇게 정답이 붙은 예시로 배우는 방식을 지도 학습(supervised learning) 이라고 부릅니다. 이 교시의 사과와 배가 바로 지도 학습입니다.

1-2. 특징: 과일을 숫자 두 개로 (7분)

컴퓨터는 과일을 보지 못합니다. 숫자만 다룹니다. 그래서 먼저 과일을 숫자로 바꿔야 합니다. 이번 전시에서는 두 가지를 잽니다.

• 무게: 저울로 잰 그램(g) 수
• 붉은 정도: 사진에서 껍질 색을 읽어 0(전혀 붉지 않음)에서 1(아주 붉음) 사이로 나타낸 수

이렇게 대상을 나타내려고 고른 숫자를 특징(feature) 이라고 합니다. 과일 하나가 숫자 두 개, 즉 그래프 위의 점 하나가 됩니다. 가로축에 무게, 세로축에 붉은 정도를 놓으면 과일 바구니가 점들의 그림이 됩니다. 실습대에 찍힌 과일 24개 중 넷만 옮겨 보면 이렇습니다.

사과는 대개 가볍고 붉으며, 배는 대개 무겁고 덜 붉습니다. 그런데 특징 하나만으로는 다 가를 수 없습니다. 무게만 보고 "235 g보다 가벼우면 사과"라고 하면 24개 중 21개를 맞힙니다. 붉은 정도만 보고 "0.45보다 붉으면 사과"라고 하면 23개를 맞힙니다. 붉은 배 '라'(0.53)가 걸립니다. 두 특징을 함께 보면 24개를 모두 가르는 선을 그을 수 있습니다. 다음 절에서 직접 그어 봅니다.

어떤 특징을 고르느냐가 결과를 크게 좌우합니다. 과일 가격이나 산지를 특징으로 골랐다면 둘을 가르기가 훨씬 어려웠을 것입니다. 이 교시에서는 사람이 특징을 골랐지만, 4교시에서 볼 사진 AI는 밝기 숫자 수십만 개에서 쓸모 있는 특징을 스스로 찾아냅니다.

1-3. 분류와 결정 경계: 손으로 선 긋기 (8분)

"이 과일은 사과인가, 배인가"처럼 정해진 몇 가지 답 중 하나를 고르는 문제를 분류(classification) 라고 합니다. 스팸 메일 거르기, 사진 속 물체 알아보기, 불량품 골라내기가 모두 분류입니다.

점 그림에서 분류는 간단한 모양이 됩니다. 선 하나를 긋고, 한쪽은 사과, 다른 쪽은 배라고 정하면 됩니다. 이 선을 결정 경계(decision boundary) 라고 부릅니다. 새 과일이 오면 그 점이 선의 어느 쪽에 떨어지는지만 보면 됩니다.

아래 실습대의 가로축은 무게(100–400 g), 세로축은 붉은 정도(0–1)입니다. 남색 점이 사과, 청록 점이 배입니다. 속이 빈 점은 시험용 과일인데, 1-5절에서 씁니다. 회색 선이 경계선이고, 선의 왼쪽 연한 남색 영역이 '사과 쪽', 오른쪽 연한 청록 영역이 '배 쪽'입니다. 지금 선으로 틀리는 점에는 빨간 고리가 둘러집니다. 선 위의 검은 손잡이 두 개를 끌면 선을 직접 옮길 수 있습니다(키보드 화살표로도 됩니다). 오른쪽 칸의 '훈련 정확도'는 꽉 찬 점 24개 중 몇 개를 맞혔는지입니다.

24개를 모두 맞히는 선은 하나가 아닙니다. 예를 들어 (200 g, 0.4)와 (300 g, 0.6)을 지나는 비스듬한 선도 24개를 다 가릅니다. 이 선은 "붉은 정도가 무게의 0.002배보다 크면 사과"라는 뜻이고, 점수로 쓰면 이렇습니다.

점수가 0보다 크면 사과, 0보다 작으면 배입니다. 점수가 정확히 0인 곳들을 이으면 바로 경계선이 됩니다.

이 모양을 일반적으로 쓰면 이 강의에 나오는 거의 유일한 식이 됩니다.

특징마다 곱하는 수 $w_1, w_2$를 가중치(weight), 끝에 더하는 수 $b$를 편향(bias) 이라고 합니다. 특징에 가중치를 곱해 더한 것을 가중합(weighted sum) 이라고 부릅니다. 가중치가 크면 그 특징을 중요하게 본다는 뜻이고, 부호는 그 특징이 어느 쪽 편을 드는지를 말합니다. 위 예에서 붉은 정도는 +1(붉을수록 사과), 무게는 −0.002(무거울수록 배)입니다.

선을 옮기는 것은 곧 이 숫자 세 개를 바꾸는 것입니다. 손잡이를 끌 때마다 실습대는 $w_1, w_2, b$를 다시 계산합니다. 그렇다면 손 대신 예시를 보고 이 숫자들을 고치는 방법이 있다면, 기계가 선을 스스로 찾을 수 있겠지요.

1-4. 기계가 선을 옮기는 법: 퍼셉트론 (12분)

1958년 미국의 심리학자 프랭크 로젠블랫(Frank Rosenblatt)이 바로 그런 방법을 발표했습니다. 이름은 퍼셉트론(perceptron) 입니다. 지금의 신경망이 거슬러 올라가는 가장 오래된 조상 가운데 하나입니다. 규칙은 놀랄 만큼 단순합니다.

1. 훈련 예시를 하나씩 차례로 본다.
2. 지금 선으로 맞히면 아무것도 하지 않는다.
3. 틀리면 가중치를 조금 고친다. 사과를 배라고 했으면 가중치에 (학습률 × 그 과일의 특징)을 더하고, 배를 사과라고 했으면 뺀다. 편향에는 학습률만큼 더하거나 뺀다.
4. 예시를 다 보면 처음부터 다시 본다. 한 바퀴를 도는 동안 한 번도 틀리지 않으면 멈춘다.

학습률(learning rate) 은 한 번에 얼마나 고칠지를 정하는 작은 수입니다. 이렇게 고치면 틀렸던 과일의 점수가 정답 쪽으로 움직입니다. 그림으로 보면 선이 그 점 쪽으로 다가가거나 그 점을 넘어 반대편으로 옮겨 갑니다.

실습대는 무게를 그대로 쓰지 않고 0–1 사이로 바꿔서 계산합니다. 100 g은 0, 400 g은 1, 245 g은 (245 − 100) ÷ 300 ≈ 0.483입니다. 그렇지 않으면 수백 단위인 무게가 0–1 단위인 붉은 정도를 덮어 버리기 때문입니다. 실제 AI도 특징들의 눈금을 이렇게 맞춘 뒤 학습합니다. 처음 선(300 g 세로선)의 숫자는 $w_1 = -1$, $w_2 = 0$, $b = 0.667$이고, 기계가 처음 틀리는 예시는 1번 과일인 배(245 g, 0.20)입니다.

선은 붉은 정도 0.5 높이에서 300 g에 있다가 약 222 g으로 옮겨 갑니다. 바로 다음 2번 과일인 사과(229 g, 0.50)가 이번엔 틀려서, 선은 다시 오른쪽으로 돌아갑니다. 처음 몇 번은 선이 크게 왔다 갔다 합니다. 아래 실습대에서 그 모습을 직접 봅니다.

실습대에서 본 것을 정리하면 이렇습니다.

• '학습'은 숫자 세 개를 고치는 일이었다. 기계는 사과가 무엇인지 모릅니다. 틀릴 때마다 가중치와 편향을 정해진 규칙대로 조금 고쳤을 뿐입니다. 그런데도 결과는 두 과일을 가르는 선입니다.
• 사람은 규칙을 적지 않았다. 사람이 준 것은 예시 24개와 정답, 그리고 '틀리면 이만큼 고쳐라'라는 학습 방법입니다. 가르는 기준(선)은 예시에서 나왔습니다.
• 학습률은 보폭이다. 너무 작으면 여러 바퀴가 걸리고, 너무 크면 선이 크게 출렁입니다. 어느 쪽이든 결국 멈췄지만, 멈춘 선의 위치는 서로 다릅니다. 2교시에서 이 보폭을 본격적으로 다룹니다.
• 멈춘다는 보장이 있다. 두 무리를 다 가르는 직선이 하나라도 있으면, 퍼셉트론은 언젠가 그런 선을 찾고 멈춘다는 것이 수학으로 증명되어 있습니다. 반대로 그런 직선이 없으면 끝없이 흔들립니다. 3교시에서 이 한계를 만납니다.

1958년의 퍼셉트론은 가중치가 몇 개뿐인 작은 장치였습니다. 오늘날의 대형 AI는 가중치가 수십억 개입니다. 고치는 방법은 더 정교해졌지만(2교시), '예시를 보고 틀린 만큼 숫자를 고친다'는 뼈대는 같습니다.

1-5. 훈련 자료와 시험 자료: 처음 보는 과일도 맞힐까 (7분)

기계가 24개를 다 맞혔다고 기뻐하기는 이릅니다. 그 24개는 기계가 보고 배운 과일입니다. 우리가 정말 알고 싶은 것은 내일 과일 가게에서 처음 들어올 과일을 맞히느냐입니다.

그래서 예시를 두 몫으로 나눕니다. 학습에 쓰는 훈련 자료(training data) 와, 학습이 끝날 때까지 감춰 두었다가 성적을 매기는 시험 자료(test data) 입니다. 실습대의 속이 빈 점 10개가 시험 자료입니다. 기계는 배우는 동안 이 점들을 한 번도 보지 않습니다. 처음 보는 자료에서도 잘 맞히는 능력을 일반화(generalization) 라고 합니다.

앞 실습대의 결과를 다시 보면 이렇습니다.

학습률 0.2로 배운 선은 훈련 과일을 다 맞히고도 시험 과일 하나, 232 g에 붉은 정도 0.42인 배를 사과라고 합니다. 이 선은 거의 서 있어서 무게를 주로 봅니다. 퍼셉트론은 훈련 자료를 다 맞히는 첫 번째 선에서 멈출 뿐이고, 가장 좋은 선을 고르지는 않습니다. 훈련 성적이 같아도 시험 성적은 다를 수 있습니다.

예시가 적으면 이 문제가 커집니다. 아래 실습대는 훈련 예시를 4개만 줍니다.

예시 4개를 다 가르는 선은 셀 수 없이 많습니다. 기계는 그중 아무거나 하나를 찾았고, 그 선은 처음 보는 과일에서 자주 틀렸습니다. 예시가 많고 다양할수록 선을 붙잡아 주는 점이 늘어나 일반화가 좋아집니다. 그래서 실제 AI를 만들 때는 이런 원칙을 지킵니다.

• 시험 자료는 학습에 절대 쓰지 않는다. 시험 문제를 미리 보여 주고 치른 시험 점수는 실력을 말해 주지 않습니다.
• 훈련 성적이 아니라 시험 성적으로 판단한다. 훈련 자료를 100% 맞히는 것은 쉽습니다. 8교시에서 훈련 자료만 '외워 버린' 모델을 다시 만납니다.
• 시험 자료는 실제로 쓸 상황을 닮아야 한다. 여름 과일로만 시험하면 겨울 과일 성적은 모릅니다.

용어 정리

실제 AI에서는

실습대의 모델은 특징 2개, 가중치 2개, 편향 1개짜리입니다. 사진 한 장을 분류하는 실제 모델은 특징이 수십만 개(픽셀마다의 밝기)이고, 가중치는 수백만에서 수십억 개입니다. 직선 하나가 아니라 여러 층의 계산이 겹친 복잡한 경계를 만듭니다(3교시). 하지만 학습의 뼈대는 이 교시와 같습니다. 정답이 붙은 예시를 보여 주고, 틀린 만큼 숫자를 고치고, 감춰 둔 시험 자료로 성적을 매깁니다.

자주 하는 착각 (4분)

• "AI는 사람이 규칙을 하나하나 입력해서 만든다." 머신러닝 모델의 판단 기준은 예시에서 나옵니다. 사람이 정하는 것은 어떤 예시를 줄지, 정답을 어떻게 붙일지, 어떤 방법으로 고칠지입니다.
• "AI가 배웠으니 사과가 무엇인지 안다." 기계가 가진 것은 가중치 몇 개와 '점수가 0보다 크면 사과'라는 계산뿐입니다. 사과 맛이나 씨앗에 대해서는 아무것도 모릅니다.
• "훈련 자료를 100% 맞혔으니 완벽하다." 4개로 배운 선도 훈련 정확도는 100%였지만 시험에서는 70%였습니다. 성적은 처음 보는 자료로 매겨야 합니다.
• "기계가 찾은 선이 가장 좋은 선이다." 퍼셉트론은 훈련 자료를 다 맞히는 첫 선에서 멈춥니다. 손으로 그은 선이 시험에서 더 나을 수도 있습니다.
• "예시는 많기만 하면 된다." 개수만큼 다양성도 중요합니다. 붉은 사과만 보여 주면 풋사과는 배로 판정됩니다.

연습 문제 (4분)

1. 점수 = 붉은 정도 − 0.002 × 무게 로 판정하는 선이 있습니다. 무게 260 g에 붉은 정도 0.58인 과일과, 무게 200 g에 붉은 정도 0.35인 과일은 각각 무엇으로 판정될까요?
2. 퍼셉트론이 사과를 배라고 틀려서 가중치에 (학습률 × 특징)을 더하고 편향에 학습률을 더했습니다. 고친 뒤 그 사과의 점수는 올라갈까요, 내려갈까요?
3. 어떤 모델이 훈련 자료에서는 99%, 시험 자료에서는 62%를 맞혔습니다. 무슨 일이 일어난 걸까요? 무엇을 해 볼 수 있을까요?
4. 나래가 묻습니다. "시험 자료를 따로 떼면 학습할 예시가 줄잖아요. 시험도 훈련 자료로 보면 안 돼요?" 어떻게 답할까요?

풀이

1. 첫 과일: 0.58 − 0.52 = +0.06이라 사과입니다. 둘째 과일: 0.35 − 0.40 = −0.05라 배입니다. 둘 다 0에 가까워서 경계선 바로 옆에 있는 과일입니다.
2. 올라갑니다. 늘어나는 점수는 학습률 × (특징 제곱의 합 + 1)이라 언제나 양수입니다. 실습대에서 2번 과일 사과(229 g, 0.50)를 고칠 때 점수는 −0.025에서 +0.262로, 0.2 × (0.43² + 0.5² + 1) ≈ 0.287만큼 올랐습니다(0.43은 0–1로 바꾼 무게). 한 번 고쳐서 정답 쪽으로 넘어가지 못하면 다음 바퀴에 또 고칩니다.
3. 훈련 예시에는 잘 맞지만 처음 보는 자료로 일반화하지 못한 것입니다. 예시가 너무 적거나 한쪽으로 치우쳤을 수 있습니다. 더 많고 다양한 예시를 모으거나, 시험 자료가 실제 상황을 닮았는지 확인합니다. 8교시에서 모델이 훈련 자료를 '외워 버리는' 과적합을 자세히 봅니다.
4. 훈련 자료로 매긴 성적은 이미 본 문제를 다시 푼 점수라 실력을 부풀립니다. 4개로 배운 선은 훈련 자료로는 100%였지만 처음 보는 과일에서는 70%였습니다. 예시가 줄어드는 비용을 치르더라도, 처음 보는 자료로 매긴 성적만 믿을 수 있습니다.

회의가 끝나 갈 무렵, 실습대를 몇 번이고 돌려 본 준이가 고개를 갸웃합니다. "기계가 틀리면 선을 옮기잖아요. 근데 '틀렸다'만 알면 얼마나 옮길지는 어떻게 알아요? 크게 틀린 거랑 조금 틀린 거랑 똑같이 고쳐요?" 백 박사가 반가운 얼굴로 답합니다. "좋은 질문이에요. 요즘 AI는 '맞았다, 틀렸다' 대신 얼마나 틀렸는지를 숫자로 재요. 그리고 그 숫자가 줄어드는 쪽으로 내려갑니다." 나래가 수첩에 두 번째 전시실의 질문을 적습니다. "AI는 어떻게 점점 똑똑해져요?" 2교시에서는 틀린 정도를 재는 손실과, 그것을 줄여 가는 경사하강법을 봅니다.