뉴런을 쌓으면: 신경망

특별전 준비 둘째 주, 지난주 문자로 물었던 준이가 이번에는 신문 한 장을 들고 준비실에 들어옵니다. 기사 옆에 푸른빛으로 빛나는 뇌 그림이 있고, 그 위에 '인공 신경망'이라고 적혀 있습니다. "AI 머릿속에도 뇌세포가 있어요? 그럼 AI도 아파요?"

나래는 셋째 전시실에 커다란 뇌 모형을 매달면 멋지겠다고 생각합니다. 백 박사가 고개를 젓습니다. "뇌에서 이름을 빌린 건 맞아요. 그런데 인공 뉴런이 하는 일은 아주 소박합니다. 숫자 몇 개를 곱해서 더하고, 그 결과를 0과 1 사이로 눌러 담는 것. 그게 전부예요."

"그게 전부라면, 어떻게 사진도 알아보고 말도 하죠?" 나래가 묻습니다. 백 박사가 화이트보드에 동그라미 몇 개를 그리고 선으로 잇습니다. "하나는 보잘것없어요. 1교시에 사과와 배를 가른 직선 하나, 그게 뉴런 하나입니다. 그런데 이걸 여러 개 나란히 놓고, 여러 겹으로 쌓으면 이야기가 달라져요. 그리고 2교시의 경사하강법이 그 많은 숫자를 한꺼번에 맞춰 줍니다."

이번 교시에서는 인공 뉴런 하나를 직접 조작해 보고, 뉴런 하나로는 절대 풀 수 없는 문제를 만난 뒤, 뉴런을 쌓은 작은 신경망이 그 문제를 스스로 풀어 내는 과정을 지켜봅니다.

3-1. 인공 뉴런: 곱해서 더하고, 눌러 담는다 (10분)

뇌의 신경세포(뉴런)는 여러 이웃에게서 신호를 받습니다. 받은 신호가 충분히 크면 자기도 신호를 내보냅니다. 인공 뉴런(artificial neuron) 은 이 모습을 숫자로 아주 단순하게 흉내 낸 계산 단위입니다. 하는 일은 두 단계입니다.

1단계: 가중합(weighted sum). 입력마다 가중치(weight) 를 곱해 모두 더하고, 마지막에 편향(bias) 을 더합니다. 입력이 두 개라면 이렇게 씁니다.

가중치는 "이 입력을 얼마나 중요하게, 어느 방향으로 볼까"입니다. 양수면 그 입력이 클수록 z를 키우고, 음수면 줄입니다. 0이면 그 입력을 무시합니다. 편향은 입력과 상관없이 더하는 기본값으로, 뉴런이 얼마나 쉽게 켜지는지를 정합니다.

1교시의 사과와 배를 떠올려 보세요. "무게 × w₁ + 붉은 정도 × w₂ + b 가 0보다 크면 사과"라는 규칙이 바로 가중합입니다. 퍼셉트론은 인공 뉴런의 가장 오래된 형태입니다.

2단계: 활성화(activation). 가중합 z는 −100이 될 수도, 37이 될 수도 있습니다. 이것을 정해진 범위로 눌러 담는 함수가 활성화 함수(activation function) 입니다. 이 교시에서는 z를 0과 1 사이로 바꾸는 시그모이드(sigmoid) 를 씁니다. 모양은 완만한 S자입니다.

z가 0이면 출력은 딱 0.5, z가 크면 1에 가깝고, 작으면 0에 가깝습니다. 출력이 0.5보다 크면 "1 쪽", 작으면 "0 쪽"이라고 읽겠습니다. 예를 들어 $w_1 = 2$, $w_2 = 1.5$, $b = -1$인 뉴런에 입력 $(x_1, x_2) = (1, 0)$을 넣으면 $z = 2 \times 1 + 1.5 \times 0 - 1 = 1$이고, 출력은 약 0.73으로 1 쪽입니다.

기호 읽는 법

아래 실습대 위쪽은 뉴런 그림입니다. 왼쪽 입력 x₁, x₂에서 가중합(Σ)으로 가는 선의 굵기는 가중치의 크기, 색은 부호(남색은 양수, 주황은 음수)입니다. 가중합 z가 활성화(S자 상자)를 거쳐 오른쪽 출력이 됩니다. 그림 속 숫자는 지금 고른 입력 하나의 계산입니다.

아래쪽 평면의 가로축은 x₁, 세로축은 x₂입니다. 평면의 모든 자리에서 뉴런의 출력을 계산해 색으로 칠했습니다. 남색은 출력이 1 쪽, 청록은 0 쪽이고, 0.5에서 멀수록 진합니다. 회색 점선이 출력이 정확히 0.5인 경계선입니다. 네 모서리의 큰 점이 자료이고, 점 안의 숫자가 정답입니다. 틀린 점은 빨간 테두리로 표시됩니다. 오른쪽 표에는 네 입력의 출력과 맞았는지가 나옵니다. 출력이 0.45–0.55 사이면 '애매'로 보고 틀린 것으로 셉니다.

3-2. 뉴런 하나는 직선 하나: AND, OR, 그리고 XOR (10분)

실습대에서 슬라이더를 아무리 움직여도 경계선은 휘지 않았습니다. 이유는 간단합니다. 출력이 0.5인 곳은 가중합이 0인 곳, 즉 w₁x₁ + w₂x₂ + b = 0 인 점들입니다. 이 식을 만족하는 점들은 언제나 곧은 직선 위에 놓입니다. 가중치는 직선의 기울기를, 편향은 직선의 위치를 정합니다. 시그모이드는 경계 근처의 색이 얼마나 빨리 바뀌는지만 정할 뿐, 경계를 휘게 하지는 못합니다.

직선 하나로 풀 수 있는 문제를 봅시다. 입력이 둘 다 1일 때만 1인 AND, 하나라도 1이면 1인 OR입니다.

괄호 안은 (w₁, w₂, b)입니다. 두 뉴런은 편향만 다릅니다. 편향을 −6으로 낮추면 '둘 다 켜져야' 넘는 문턱이 되고, −2로 올리면 '하나만 켜져도' 넘는 문턱이 됩니다.

이제 XOR(배타적 논리합) 입니다. 둘 중 하나만 1일 때 1이고, 둘 다 1이거나 둘 다 0이면 0입니다. "커피 또는 차 중 하나만 고르세요"의 '또는'입니다. 정답 1인 점은 (1, 0)과 (0, 1), 대각선 두 모서리에 있습니다. 실습대에서 자료를 XOR로 바꿔 보면 아무리 애써도 3개까지만 맞습니다.

왜 불가능한지 말로 따져 볼 수 있습니다. (0, 0)이 0 쪽이려면 b가 음수여야 합니다. (1, 0)과 (0, 1)이 1 쪽이려면 w₁ + b 와 w₂ + b 가 둘 다 양수여야 합니다. 이 둘을 더하면 w₁ + w₂ + 2b 가 양수이고, b가 음수이니 w₁ + w₂ + b 는 그보다 더 큰 양수입니다. 그런데 이것이 바로 (1, 1)의 가중합입니다. (1, 1)은 저절로 1 쪽이 되어 버립니다. 세 조건을 맞추면 네 번째가 반드시 틀립니다. XOR 자료에서 '기계가 맞추기'를 눌러 보면 경사하강법도 답을 찾지 못하고, 네 출력이 모두 0.5 근처(애매)로 몰립니다. 어느 쪽으로 선을 옮겨도 틀리는 점이 생기니, 손실을 가장 줄이는 선택이 '모두 반반'이 되는 것입니다.

이 한계는 역사에 남은 사건이기도 합니다. 1969년 마빈 민스키와 시모어 페퍼트는 책 «퍼셉트론(Perceptrons)»에서 층이 하나뿐인 퍼셉트론은 XOR 같은 문제를 풀 수 없다는 점을 수학적으로 보였습니다. 이 지적은 신경망 연구가 한동안 주춤한 계기 가운데 하나로 꼽힙니다.

3-3. 층을 쌓으면 공간이 휜다 (14분)

해결책은 뉴런을 여러 개 쓰고, 겹쳐 쌓는 것입니다. XOR을 사람 말로 풀어 보면 이렇습니다. "OR이면서, AND는 아닌 것." 우리는 OR 뉴런과 AND 뉴런을 이미 만들었습니다. 두 뉴런의 출력을 받아 "첫째는 켜지고 둘째는 꺼졌을 때"만 1을 내는 뉴런을 하나 더 두면 됩니다. 셋째 뉴런의 가중치를 (6, −6), 편향을 −3으로 두면 가중합은 $6h_1 - 6h_2 - 3$이고, 계산하면 다음과 같습니다.

넷 다 맞았습니다. 이렇게 뉴런을 줄지어 이은 것을 신경망(neural network) 이라고 합니다. 입력과 출력 사이에 끼인 뉴런 줄($h_1, h_2$)을 은닉층(hidden layer), 마지막 뉴런을 출력층이라고 부릅니다. '은닉'은 숨겨져 있다는 뜻으로, 자료에 정답이 적혀 있지 않은 중간 단계라는 의미입니다.

표의 $h_1$, $h_2$ 두 열을 새 좌표로 보면 무슨 일이 일어났는지 보입니다. 원래 평면에서 대각선에 흩어져 있던 두 '1' 점 (1, 0)과 (0, 1)이 새 좌표에서는 같은 자리 (0.88, 0.12)로 모입니다. '0' 점들은 (0.12, 0.00)과 (1.00, 0.88)로 갈라집니다. 이제는 직선 하나로 가를 수 있습니다. 은닉층은 공간을 접고 휘어서, 직선으로 가를 수 있는 모양으로 바꿔 놓습니다. 원래 평면에서 보면 경계선이 휘거나 꺾여 보입니다.

이번 실습대는 이 일을 사람이 아니라 학습에 맡깁니다. 입력 2개, 은닉 뉴런 2–8개, 출력 1개인 작은 신경망입니다. 가중치는 무작위로 시작하고, '학습 시작'을 누르면 2교시의 경사하강법으로 브라우저 안에서 진짜로 학습합니다.

화면의 점은 학습 자료입니다. 남색 점은 '가' 무리(정답 1), 청록 점은 '나' 무리(정답 0)이고, 지금 신경망이 틀리게 분류하는 점은 빨간 테두리가 붙습니다. 바탕 색칠은 평면 곳곳에서 신경망의 출력입니다(남색은 1 쪽, 청록은 0 쪽). 아래 작은 그래프의 노란 선은 학습 걸음마다의 손실입니다. '은닉 뉴런의 직선 보기'를 켜면 은닉 뉴런마다 자기 가중합이 0이 되는 직선이 회색 점선으로 겹쳐집니다.

실습대에서 볼 수 있는 일을 정리합니다.

1. XOR은 은닉 뉴런 3–4개면 거의 언제나 풀립니다. 은닉 뉴런 4개일 때 첫 화면의 출발점에서는 약 170걸음 만에 다 맞힙니다.
2. 은닉 뉴런 2개는 이론상 충분하지만 자주 막힙니다. 위에서 손으로 만든 OR·AND 신경망처럼 2개로 푸는 방법이 있는데도, 출발점에 따라 절반 가까이는 손실이 0.35 근처에서 더 내려가지 않습니다. 경사하강법은 '근처에서 더 낮은 쪽'으로만 걸어서, 2교시에서 본 것처럼 얕은 골짜기에 갇힐 수 있습니다.
3. 원은 은닉 뉴런이 3개 이상이어야 합니다. 직선 3개가 있어야 가운데를 삼각형처럼 둘러쌀 수 있습니다. 직선 2개로는 띠나 쐐기 모양밖에 못 만들어서 언제나 일부를 틀립니다.
4. 두 나선은 어렵습니다. 은닉 뉴런 4개 이하로는 풀지 못하고, 8개면 대개 1,000–3,500걸음 사이에 풉니다. 경계가 복잡할수록 직선 조각이 더 많이 필요합니다.

은닉 뉴런 하나하나가 긋는 것은 여전히 직선입니다. 출력 뉴런이 그 직선들의 양쪽 정보를 섞어서, 꺾이고 휜 경계를 만듭니다. 뉴런이 많을수록 더 복잡한 모양을 만들 수 있습니다.

3-4. 학습 = 수많은 가중치를 경사하강법으로 (8분)

실습대의 신경망은 무엇을 배웠을까요? 은닉 뉴런이 4개면 숫자는 17개입니다. 입력에서 은닉층으로 가는 가중치 8개, 은닉 뉴런의 편향 4개, 은닉층에서 출력으로 가는 가중치 4개, 출력 편향 1개입니다. 학습이란 이 17개의 숫자를 정하는 일이었습니다.

방법은 2교시와 똑같습니다. 모든 점에서 얼마나 틀렸는지를 손실 하나로 모으고, 각 숫자를 조금 바꾸면 손실이 어느 쪽으로 변하는지(기울기)를 계산해, 손실이 줄어드는 쪽으로 한 걸음씩 옮깁니다. 층이 여러 개일 때는 출력의 오차를 뒤쪽 층에서 앞쪽 층으로 거슬러 전하며 각 가중치의 '책임'을 나누어 계산합니다. 이 계산법이 2교시에서 이름만 소개한 오차역전파(backpropagation) 입니다. 이름은 어렵지만, 하는 일은 기울기를 빠짐없이 효율적으로 구하는 것입니다.

규모는 이렇게 달라집니다.

층을 깊게(많이) 쌓은 신경망으로 학습하는 방법을 딥러닝(deep learning) 이라고 부릅니다. 원리는 이번 교시에서 본 것과 같습니다. 곱하고 더하고 눌러 담는 뉴런을 수없이 쌓고, 경사하강법으로 숫자를 맞춥니다. 달라지는 것은 숫자의 개수와 자료의 양, 그리고 그것을 감당하는 계산 장치입니다.

용어 정리

실제 AI에서는

실제 신경망도 이번 장난감과 같은 부품으로 만듭니다. 다만 입력이 두 개가 아니라 사진의 점 수백만 개나 문장의 단어 수천 개이고, 뉴런과 층이 훨씬 많습니다. 그래서 경계는 평면의 곡선이 아니라 상상하기 어려운 고차원 공간의 휘어진 칸막이가 됩니다. 이름은 뇌에서 빌렸지만, 실제 뇌세포는 훨씬 복잡하고 배우는 방식도 아직 다 밝혀지지 않았습니다. 인공 신경망은 뇌의 복제가 아니라 뇌에서 영감을 얻은 계산 방법입니다.

자주 하는 착각 (4분)

• "인공 신경망은 뇌를 그대로 본뜬 것이다." 이름과 첫 영감만 빌렸습니다. 인공 뉴런은 곱셈과 덧셈, 그리고 간단한 함수 하나입니다. 뇌세포의 복잡한 화학과 구조는 들어 있지 않습니다.
• "뉴런 하나하나가 '귀', '눈' 같은 뜻을 안다." 뉴런이 하는 일은 숫자 계산입니다. 학습이 끝난 뒤 어떤 뉴런이 특정 모양에 잘 반응하는 경우는 있지만, 그것은 사람이 나중에 해석한 것입니다.
• "뉴런이 많을수록 무조건 좋다." 많으면 복잡한 경계를 만들 수 있지만, 자료가 적으면 외워 버리기 쉽고 계산도 비싸집니다. 8교시의 과적합에서 다시 봅니다.
• "학습하면 언제나 정답을 찾는다." 경사하강법은 근처의 낮은 곳으로만 내려갑니다. 실습대에서 본 것처럼 막힐 수 있고, 출발점에 따라 결과가 달라집니다.

연습 문제 (4분)

1. 가중치가 w₁ = 3, w₂ = −2, 편향이 b = 1인 뉴런에 입력 (1, 1)을 넣었습니다. 가중합은 얼마이고, 출력은 1 쪽일까요, 0 쪽일까요?
2. 입력이 (0, 0)이면 어떤 뉴런이든 가중합이 한 가지 값이 됩니다. 무엇일까요? 이것이 실습대에서 무엇을 뜻할까요?
3. 입력 2개, 은닉 뉴런 6개, 출력 1개인 신경망에는 가중치와 편향이 모두 몇 개 있을까요?
4. 나래가 말합니다. "그럼 은닉 뉴런을 100만 개 넣으면 어떤 문제든 다 풀겠네요?" 백 박사라면 뭐라고 답할까요?

풀이

1. z = 3 × 1 + (−2) × 1 + 1 = 2입니다. 시그모이드 출력은 약 0.88로 1 쪽입니다.
2. 입력이 모두 0이면 가중치를 곱한 항이 다 0이 되어 가중합은 편향 b뿐입니다. 그래서 (0, 0) 점이 어느 쪽인지는 편향의 부호만으로 정해집니다. XOR이 불가능하다는 설명도 여기서 출발했습니다.
3. 입력에서 은닉층으로 가는 가중치 2 × 6 = 12개, 은닉 편향 6개, 은닉층에서 출력으로 가는 가중치 6개, 출력 편향 1개로 모두 25개입니다.
4. "만들 수 있는 모양이 많아지는 것은 맞아요. 그런데 그 많은 숫자를 맞추려면 자료도 그만큼 많아야 하고, 자료가 적으면 정답을 외우기만 할 수 있어요. 계산도 훨씬 오래 걸리고요. 크기만으로 해결되지는 않습니다." 자료의 양과 질, 학습이 막히지 않게 하는 방법이 함께 필요합니다.

설명판 문구를 확정하고 나오는 길에 준이가 휴대전화를 내밉니다. 화면에는 준이네 고양이 사진이 있고, 사진 앱이 그 위에 '고양이'라고 이름표를 붙여 놓았습니다. "그런데 AI는 고양이를 어떻게 알아봐요? 사진에는 x₁, x₂ 같은 숫자가 없잖아요." 백 박사가 웃습니다. "있어요. 사진은 숫자 덩어리예요. 다음 전시실에서는 그 숫자를 직접 들여다봅시다." 4교시에서는 이미지를 숫자의 격자로 보고, 작은 숫자 창(필터)을 미끄러뜨려 선과 모양을 찾는 합성곱을 다룹니다.