틀린 만큼 고친다: 오차와 경사하강법

목요일 오후, 나래는 첫 전시실의 시안을 들고 백 박사의 연구실을 찾습니다. 사과와 배를 가르는 선이 움직이는 화면은 준비실 사람들에게 인기였습니다. 그런데 월요일에 준이가 남긴 질문이 마음에 걸립니다. "'틀렸다'만 알면 얼마나 옮길지는 어떻게 알아요?"

나래가 시안을 내밀며 묻습니다. "준이가 또 물었어요. AI는 어떻게 점점 똑똑해지냐고요. 틀리면 혼나는 거냐고요." 백 박사가 웃습니다. "혼나지는 않죠. 대신 성적표를 받아요. 점수 하나짜리 성적표요. 얼마나 틀렸는지를 숫자 하나로 적은 거예요. 그 숫자를 손실이라고 부릅니다."

백 박사가 화이트보드에 산을 하나 그립니다. "안개가 짙은 산에서 길을 잃었다고 해 봐요. 마을은 골짜기 바닥에 있는데, 앞이 안 보여요. 어떻게 내려가죠?" 나래가 잠시 생각합니다. "발밑이 기운 쪽으로 한 걸음씩 가면 되겠네요." "그게 오늘 전시의 전부예요. 요즘 AI는 거의 다 그렇게 배워요. 이름은 경사하강법입니다."

이번 교시에서는 틀린 정도를 숫자로 재는 법, 그 숫자가 그리는 골짜기, 그리고 기울기를 따라 내려가는 법을 봅니다. 보폭을 잘못 정하면 어떤 일이 생기는지, 골짜기가 여럿이면 어디에 멈추는지도 봅니다.

2-1. 얼마나 틀렸나를 숫자 하나로: 손실 (8분)

1교시의 퍼셉트론은 '맞았다, 틀렸다'만 봤습니다. 이 성적표에는 두 가지 아쉬움이 있습니다. 첫째, 경계선에서 한 뼘 벗어난 과일과 아주 멀리 엉뚱한 쪽에 있는 과일이 똑같이 '틀림 하나'입니다. 둘째, 선을 아주 조금 움직이면 틀린 개수는 대개 그대로입니다. 어느 쪽으로 움직여야 나아지는지 알려 주지 않습니다.

그래서 요즘 AI는 얼마나 틀렸는지를 잽니다. 예를 들어 과일 무게로 주스 양을 예측하는 아주 작은 모델을 생각해 봅시다.

가중치 w가 하나뿐인 모델입니다. 사과 세 개를 짜서 실제 주스 양을 재었더니 150 g → 80 mL, 200 g → 100 mL, 250 g → 120 mL였습니다. w를 0.4로 정하면 예측과 실제는 이렇게 어긋납니다.

오차의 제곱을 평균한 이 숫자를 평균 제곱 오차(mean squared error) 라고 합니다. 오차를 그냥 더하지 않고 제곱하는 데는 이유가 둘 있습니다. 하나, 그냥 더하면 +5와 −5가 서로 지워집니다. w = 0.5일 때 오차는 −5, 0, +5라 합하면 0이지만, 완벽한 예측은 아닙니다. 둘, 제곱하면 크게 틀린 것에 훨씬 큰 벌점이 붙습니다. 오차 10은 벌점 100, 오차 30은 벌점 900입니다.

이렇게 '얼마나 틀렸나'를 숫자 하나로 나타낸 것을 손실(loss) 이라고 합니다. 손실이 작을수록 좋은 모델입니다. 이제 학습이 무엇인지 한 문장으로 말할 수 있습니다. 학습은 손실이 작아지도록 가중치를 고치는 일입니다. 사과와 배든, 주스든, 챗봇의 다음 단어든 같습니다. 무엇을 손실로 삼느냐만 다릅니다.

2-2. 손실 곡선과 골짜기 (7분)

w를 바꿔 가며 손실을 다시 재 봅시다.

손실은 w가 0.5 근처일 때 가장 작고, 양쪽으로 갈수록 커집니다. 가로축에 w, 세로축에 손실을 놓고 그리면 골짜기 모양의 곡선이 됩니다. 이것을 손실 곡선이라고 합니다. 이 예에서 바닥은 w = 0.496, 그때 손실은 16입니다. 세 사과가 한 직선에 딱 맞지는 않아서 손실이 0까지 내려가지는 않습니다.

가중치가 하나라면 바닥을 찾기는 쉽습니다. w를 0.001 간격으로 전부 넣어 보면 됩니다. 하지만 가중치가 둘이면 바둑판처럼 모든 조합을, 셋이면 정육면체의 모든 칸을 재야 합니다. 가중치가 수십억 개인 실제 AI에서는 조합의 수가 우주의 원자 수보다 훨씬 많습니다. 전부 재 보는 방법은 쓸 수 없습니다.

그래서 안개 낀 산의 방법을 씁니다. 골짜기 전체는 보이지 않아도, 지금 서 있는 곳의 기울기는 알 수 있습니다. 발밑이 어느 쪽으로 기울었는지만 알면 한 걸음 내려갈 수 있습니다.

2-3. 기울기를 따라 내려가기: 경사하강법 (12분)

기울기(gradient) 는 가중치를 오른쪽으로 아주 조금 옮겼을 때 손실이 얼마나 변하는지입니다. 기울기가 양수면 오른쪽이 오르막이니 왼쪽으로, 음수면 오른쪽이 내리막이니 오른쪽으로 가면 됩니다. 기울기가 0이면 평평한 곳, 대개 바닥입니다. 이것을 한 줄로 쓰면 이렇습니다.

빼기가 '기울기의 반대쪽으로'라는 뜻입니다. 학습률은 1교시에서 본 보폭입니다. 이 한 줄을 되풀이하는 방법이 경사하강법(gradient descent) 입니다. 경사(기울기)를 따라 하강한다(내려간다)는 뜻입니다.

아래 실습대의 가로축은 가중치 w(−4–4), 세로축은 손실입니다. 파란 곡선이 손실 곡선이고, 바닥은 w = 1입니다. 주황 공이 지금의 가중치, 공에 닿은 검은 짧은 선이 그 자리의 기울기(접선)입니다. 공이 지나온 길은 주황 점선과 작은 점으로 남습니다. 검은 손잡이는 시작점이라 끌어서 옮길 수 있습니다. 처음에는 공이 시작점 위에 겹쳐 있습니다. 오른쪽 칸의 슬라이더로 학습률을 고릅니다.

실습대의 곡선은 손실 = 0.75 × (w − 1)²이고, 그 기울기는 1.5 × (w − 1)입니다. w = −3, 학습률 0.2에서 처음 다섯 걸음을 직접 계산하면 이렇습니다.

두 가지가 눈에 띕니다. 하나, 걸음이 저절로 작아집니다. 학습률은 그대로인데 바닥에 가까울수록 기울기가 작아지기 때문입니다. 이 곡선에서는 바닥까지 남은 거리가 걸음마다 정확히 0.7배가 됩니다(4 → 2.8 → 1.96 → 1.372 → 0.960). 둘, 공은 골짜기 전체를 보지 않습니다. 매 걸음 아는 것은 발밑의 기울기 하나뿐입니다. 그래도 바닥에 닿습니다.

1교시의 퍼셉트론도 같은 틀로 볼 수 있습니다. '틀린 과일이 경계선에서 얼마나 먼가'를 손실로 삼고 과일 하나씩 경사하강법을 하면, 바로 '틀린 점 쪽으로 학습률만큼 옮긴다'는 규칙이 나옵니다.

실제 AI의 손실 곡선은 가로축이 하나가 아니라 가중치 수만큼, 수십억 개입니다. 그래도 하는 일은 같습니다. 가중치마다 '이 숫자를 조금 늘리면 손실이 얼마나 변하나'를 구해 모두 한꺼번에 반대쪽으로 조금씩 옮깁니다. 수십억 개의 기울기를 빠르게 구하는 계산법이 따로 있는데, 이름은 오차역전파(backpropagation) 입니다. 계산 방법은 다루지 않고, 3교시에서 하는 일만 짧게 봅니다. 또 실제로는 자료 전체가 아니라 몇십–몇천 개씩 묶음으로 손실을 재고 한 걸음씩 갑니다. 묶음마다 기울기가 조금씩 달라 공이 비틀거리며 내려가지만, 훨씬 빨리 여러 걸음을 걸을 수 있습니다.

2-4. 학습률: 보폭이 너무 작으면 느리고, 너무 크면 튄다 (9분)

앞 실습대에서 슬라이더로 학습률만 바꿔 같은 곳(w = −3)에서 굴려 보면 이런 결과가 나옵니다. '바닥에 닿았다'는 기울기의 크기가 0.01보다 작아진 때입니다.

이 곡선에서는 한 걸음마다 바닥까지 남은 거리가 (1 − 1.5 × 학습률)배가 됩니다. 학습률이 0.2면 0.7배라 차곡차곡 줄어듭니다. 1.0이면 −0.5배입니다. 부호가 바뀐다는 것은 바닥 건너편으로 넘어간다는 뜻이고, 그래도 거리는 절반이 되니 결국 닿습니다. 1.4면 −1.1배라 건너뛸 때마다 거리가 10%씩 늘어납니다. 이것이 발산(divergence) 입니다. 이 곡선에서는 학습률이 약 1.33을 넘으면 언제나 발산합니다.

가중치가 둘이면 더 흥미로운 일이 생깁니다. 아래 실습대는 같은 실습대의 '2차원' 보기입니다. 가로축과 세로축이 가중치 두 개(w₁, w₂)이고, 회색 고리는 등고선입니다. 지도의 등고선처럼 한 고리 위의 점들은 손실이 같고, 안쪽 고리로 갈수록 낮습니다. 가운데 회색 점(1, 0.5)이 바닥입니다. 이 골짜기는 한 방향으로 길쭉하고 비스듬합니다. 공에서 뻗은 검은 화살표는 그 자리에서 가장 가파른 내리막, 즉 기울기의 반대 방향입니다.

2차원에서 배울 것은 이렇습니다.

• 가장 가파른 내리막은 바닥을 가리키지 않습니다. 공은 바닥을 모릅니다. 발밑에서 가장 가파른 방향으로 갈 뿐입니다. 그래서 길쭉한 골짜기에서는 길을 돌아갑니다.
• 보폭 하나로 두 방향을 모두 만족시키기 어렵습니다. 이 골짜기는 좁은 쪽 비탈이 긴 쪽보다 6배 빨리 가팔라집니다. 학습률을 가파른 쪽에 맞추면(작게) 완만한 쪽에서는 느리고, 완만한 쪽에 맞추면(크게) 가파른 쪽에서 튑니다. 학습률이 약 0.67을 넘으면 가파른 쪽에서 발산합니다. 1차원 곡선의 경계(약 1.33)보다 낮습니다. 가파른 방향이 있을수록 쓸 수 있는 학습률의 한계가 낮아집니다.

그래서 실제 AI를 학습시킬 때는 학습률을 정하는 일이 중요한 기술입니다. 흔히 쓰는 요령은 이렇습니다. 작은 학습률로 시작해 손실이 잘 줄어드는지 보고, 학습이 진행되면 학습률을 점점 줄입니다. 가중치마다 지금까지의 기울기를 보고 보폭을 따로 조절하는 방법도 널리 씁니다. 학습 중에 손실이 갑자기 치솟으면, 맨 먼저 학습률이 너무 크지 않은지 의심합니다.

2-5. 골짜기가 여러 개라면 (6분)

지금까지의 골짜기는 바닥이 하나였습니다. 실제 손실 지형은 울퉁불퉁해서 골짜기가 여럿일 수 있습니다. 아래 실습대는 '골짜기 둘' 곡선입니다. 왼쪽 골짜기(w ≈ −2.39)가 손실 0으로 가장 깊고, 오른쪽 골짜기(w ≈ 2.05)는 손실 1.78로 얕습니다. 둘 사이에는 w ≈ 0.34에 손실 2.49인 낮은 언덕이 있습니다.

공이 멈춘 오른쪽 골짜기처럼, 주변보다는 낮지만 가장 낮지는 않은 바닥을 지역 최솟값(local minimum) 이라고 합니다. 가장 낮은 바닥은 전역 최솟값(global minimum) 입니다. 경사하강법은 발밑만 보기 때문에 어느 골짜기로 갈지는 어디서 출발했느냐에 달려 있습니다. 시작점이 언덕 꼭대기(w ≈ 0.34)의 왼쪽이면 깊은 골짜기로, 오른쪽이면 얕은 골짜기로 갑니다.

실제 신경망의 손실 지형은 수십억 차원이라 그림으로 그릴 수 없습니다. 연구자들은 처음 가중치를 무작위로 정하고, 학습률을 조절하고, 묶음마다 조금씩 비틀거리는 걸음 덕분에 얕은 골짜기를 벗어나기도 하면서 충분히 좋은 골짜기를 찾습니다. 하지만 '가장 좋은 답'에 닿았다는 보장은 없습니다. 같은 자료와 같은 방법으로 학습시켜도 출발점이 다르면 조금씩 다른 모델이 나옵니다.

용어 정리

실제 AI에서는

실습대의 공은 가중치 하나나 둘 위를 굴렀습니다. 대형 언어 모델은 가중치 수십억 개를 한꺼번에 옮기며, 이런 걸음을 수십만 번 이상 되풀이합니다. 한 걸음마다 엄청난 양의 계산이 필요해서, 수많은 계산 칩이 몇 주에서 몇 달 동안 함께 일합니다. 그래도 한 걸음의 내용은 이 교시의 한 줄과 같습니다. 새 가중치 = 지금 가중치 − 학습률 × 기울기.

자주 하는 착각 (4분)

• "AI는 틀리면 혼나면서 배운다." 혼내는 사람도 반성하는 마음도 없습니다. 손실이라는 숫자를 계산하고, 그 숫자가 줄어드는 쪽으로 가중치를 고치는 산수입니다.
• "학습률은 클수록 빨리 배운다." 어느 선까지만입니다. 너무 크면 바닥을 지나쳐 오가고, 더 크면 발산합니다. 1차원 곡선에서 학습률 1.0은 0.5보다 오히려 느렸습니다.
• "기울기는 바닥을 가리킨다." 기울기는 발밑에서 가장 가파른 방향일 뿐입니다. 길쭉한 골짜기에서는 바닥과 다른 쪽을 가리켰습니다.
• "경사하강법은 언제나 가장 좋은 답을 찾는다." 출발점에 따라 얕은 골짜기에 멈출 수 있습니다. 공은 언덕 너머를 모릅니다.
• "손실이 0이 되면 완벽한 AI다." 훈련 자료의 손실이 0이어도 처음 보는 자료에서는 틀릴 수 있습니다. 1교시의 '4개만' 실습대가 그랬고, 8교시에서 다시 봅니다.

연습 문제 (4분)

1. 지금 가중치가 2, 그 자리의 기울기가 3, 학습률이 0.1입니다. 한 걸음 뒤 가중치는? 기울기가 −3이었다면?
2. 주스 예측 모델에서 w = 0.45일 때의 손실(평균 제곱 오차)을 표에서 확인하고, w = 0.40일 때보다 몇 배 작은지 어림해 보세요. 바닥(w = 0.496)에서는 손실이 얼마였나요?
3. 두 사람이 같은 모델을 학습시키며 걸음마다 손실을 기록했습니다. 가: 5.00, 4.99, 4.98, 4.97, … 나: 5.0, 8.1, 19.7, 85.2, … 각각 학습률을 어떻게 바꾸라고 조언할까요?
4. '골짜기 둘' 실습대에서 공이 손실 1.78에 멈췄습니다. 더 낮은 곳을 찾으려면 무엇을 해 볼 수 있을까요? 두 가지를 말해 보세요.

풀이

1. 2 − 0.1 × 3 = 1.7입니다. 기울기가 양수라 왼쪽으로 갔습니다. 기울기가 −3이면 2 − 0.1 × (−3) = 2.3으로 오른쪽으로 갑니다.
2. w = 0.45의 손실은 약 104.2, w = 0.40은 400이라 약 4분의 1입니다. 바닥 w = 0.496에서 손실은 16입니다. 세 사과가 한 직선에 딱 맞지 않아 0까지는 내려가지 않습니다.
3. 가는 손실이 줄긴 하지만 아주 느립니다. 학습률을 키워 보라고 합니다. 나는 손실이 걸음마다 커집니다. 발산이니 학습률을 크게 줄이라고 합니다.
4. 시작점을 바꿔 봅니다. 언덕 꼭대기(w ≈ 0.34)보다 왼쪽에서 출발하면 깊은 골짜기로 갑니다. 여러 곳에서 출발해 가장 낮은 결과를 고르는 방법도 있습니다. 학습률을 키워 언덕을 건너뛰게 할 수도 있습니다(실습대에서 w = 3.5 근처, 학습률 0.6). 하지만 언제나 통하지는 않고, 너무 크면 바닥에서 계속 튀거나 발산합니다.

연구실을 나서는 나래에게 백 박사가 1교시 실습대의 화면을 다시 보여 줍니다. "이제 선을 옮기는 법은 알았죠. 그런데 이 방법으로는 절대 못 가르는 그림이 있어요." 백 박사가 종이에 점 네 개를 그립니다. 왼쪽 위와 오른쪽 아래는 남색, 오른쪽 위와 왼쪽 아래는 청록입니다. "직선 하나로 갈라 보세요." 나래가 연필을 이리저리 대 보다가 포기합니다. 그날 저녁 준이에게서 문자가 옵니다. "AI 머릿속에도 뇌세포가 있어요?" 3교시에서는 인공 뉴런을 여러 개 쌓아 이 그림을 가르는 신경망을 만듭니다.