한 번에 한 토큰: 생성 루프의 전체 그림

출근 둘째 주 월요일. 옛 인쇄소 건물 3층 사무실에는 아래층에서 올라오는 인쇄기 냄새가 아직 희미하게 남아 있습니다. 하은이 지난주에 넘겨받은 챗봇 서버 코드를 읽고 있는데, 보라 매니저가 전화기를 귀에서 떼며 달려옵니다. "챗봇이 또 이상한 말을 했어요! 봄날 사장님인데요, 손님이 같은 걸 두 번 물었는데 추천한 책이 달랐대요. 처음엔 「운수 좋은 날」, 다시 물으니 「소낙비」. 사장님은 챗봇이 고장 난 줄 아세요."

하은이 서버 로그를 찾아봅니다. 두 요청은 글자 하나까지 똑같았습니다. "그럼 API 쪽에서 캐시가 꼬였나요? 아니면 모델이 답을 몇 개 미리 만들어 두고 돌아가며 보여 주는 거예요?"

옆자리의 정 선임이 모니터에서 눈을 떼지 않고 말합니다. "추측하지 말고 찍어 보자." 그러고는 곧 덧붙입니다. "그런데 API 모델은 글자만 돌려줘. 속은 못 찍어. 대신 이걸 보자." 그가 띄운 것은 작은 언어 모델 하나입니다. 서점 연합(서점 열두 곳)이 디지털로 정리해 둔, 저작권이 끝난 한국 단편소설 86편으로 정 선임이 연습 삼아 학습시킨 모델입니다. "크기는 비교도 안 되게 작지만, 답을 만드는 방식은 같아. 그리고 이건 숫자 하나까지 다 보여."

이번 교시에서는 이 참고 모델이 답을 쓰는 화면을 느리게 돌려 봅니다. 답이 한 토큰씩 만들어지는 고리(생성 루프)를 보고, 같은 질문에 답이 갈라지는 자리를 찾습니다. 이 강의가 따라갈 여덟 정거장의 지도를 펼친 뒤, 하은과 함께 '내 LLM'의 첫 부품을 만듭니다. 학습도 필요 없이 세기만 하면 되는, 가장 작은 언어 모델입니다.

1-1. 답이 흘러나오는 화면을 느리게 (9분)

챗봇에게 물으면 답이 한 번에 뜨지 않고 몇 글자씩 흘러나옵니다. 보기 좋으라고 일부러 천천히 보여 주는 것이 아닙니다. 모델이 실제로 한 번에 한 조각씩 만들기 때문입니다. 이 조각을 토큰(token) 이라고 합니다. 낱말 하나일 때도 있고, 낱말의 일부나 빈칸, 문장부호일 때도 있습니다. 글을 어떻게 조각으로 자르는지는 2교시에서 봅니다.

아래 실습대는 그 흐름을 느리게 돌립니다. 토큰을 하나 만들 때마다 모델이 내놓은 다음 토큰 후보의 확률이 막대로 자라고, 그중 하나가 뽑혀(주황) 문장 끝에 붙습니다. 숫자는 흉내가 아닙니다. 정 선임의 참고 모델(어휘 2,585개, 매개변수 1,140,608개)을 이 브라우저 안에서 그대로 돌린 값입니다. 처음 한 번 약 2.4MB를 내려받습니다.

막대 이름의 ␣는 낱말 앞의 빈칸, ↵는 줄바꿈입니다. 예를 들어 ␣그는 '빈칸 + 그', 즉 새 낱말을 '그'로 시작하는 조각입니다. ␣ 하나만 있는 토큰은 "여기서 새 낱말이 시작된다"는 조각이고, 낱말의 글자는 다음 토큰이 채웁니다.

실습대에서 본 것을 정리합니다.

1. 모델이 내놓는 것은 답이 아니라 막대입니다. '오늘 저녁은' 다음 토큰의 확률을 모델 그대로 보면 ␣ 7.69%, ␣그 2.30%, ␣이 1.95%, ↵ 1.94%, ␣저녁 1.56% 순입니다. 1등도 8%가 안 됩니다. 상위 40개를 모두 더해도 40.6%이고, 나머지 59.4%는 남은 2,545개 토큰에 잘게 흩어져 있습니다.
2. 실습대의 기본 막대는 챗봇처럼 다듬은 것입니다. 온도 0.8로 막대를 조금 뾰족하게 하고, 상위 40개만 남겨 다시 100%가 되게 나눕니다. 그러면 ␣는 28.1%, ␣그는 6.2%, ␣이는 5.1%, ↵는 5.0%가 됩니다. 이 손잡이들(온도, 상위 몇 개)은 7교시에서 직접 돌립니다. 이 교시의 실습대는 모두 이 설정으로 뽑습니다.
3. 긴 막대가 늘 뽑히는 것은 아닙니다. 첫 답(씨앗 1)은 '오늘 저녁은 오게시거리.”'로 시작합니다. 첫 토큰 ␣오의 확률은 1.3%, 둘째 토큰 게는 0.7%였습니다. 막대가 짧아도 뽑힐 수 있고, 한 번 뽑히면 그 토큰이 문장의 일부가 됩니다.
4. 뽑힌 토큰이 붙으면 막대는 처음부터 다시 계산됩니다. 다음 막대는 방금 붙은 토큰까지 포함한 문장 전체를 보고 계산한 것입니다.

이것이 언어 모델(language model) 이 하는 일의 전부입니다. 앞의 토큰들을 받아, 다음 토큰의 확률 분포를 내놓는 함수. 기호로는 이렇게 씁니다.

$x_1, \dots, x_t$는 지금까지의 토큰 $t$개이고, 세로 막대 $\mid$는 "이것이 주어졌을 때"로 읽습니다. 결과는 어휘에 있는 토큰마다 확률 하나씩, 모두 더하면 1입니다. 참고 모델의 어휘는 2,585개이므로 막대도 2,585개입니다.

1-2. 뽑은 토큰을 다시 입력으로: 생성 루프 (8분)

답 한 줄은 이 함수를 여러 번 부른 결과입니다. 순서를 글로 쓰면 이렇습니다.

ids = 앞말을 토큰 번호로 바꾼 것        # '오늘 저녁은' → ␣오늘 / ␣저녁 / 은
되풀이:
    probs = 모델(ids)                # 다음 토큰의 확률 (어휘 크기만큼)
    t = probs에서 하나 뽑기
    ids 끝에 t를 붙인다               # 뽑은 토큰이 다음 차례의 입력이 된다
    t가 '끝' 표시이거나 길이가 다 찼으면 멈춘다

뽑은 토큰을 다시 입력 끝에 붙여 그다음 토큰을 만드는 이 방식을 자기회귀(autoregressive) 생성이라고 합니다. 챗봇 화면에 답이 흘러나오는 것은 이 고리가 한 바퀴 돌 때마다 토큰 하나를 화면으로 보내기 때문입니다.

여기서 하은의 추측 하나가 풀립니다. 답은 미리 정해져 있지 않습니다. 모델은 바퀴마다 '다음 한 토큰'의 확률만 계산합니다. 둘째 토큰의 막대는 첫 토큰이 뽑힌 뒤에야 계산됩니다. 첫 토큰이 다르면 둘째 토큰의 막대부터 다릅니다.

큰 챗봇 모델은 어휘에 '답 끝'을 뜻하는 특별한 토큰을 두고, 그것이 뽑히면 멈춥니다. 참고 모델은 소설을 이어 쓰기만 하도록 학습했으므로, 실습대는 정해 둔 길이(24토큰)에서 멈춥니다.

문장 하나의 확률. 토큰마다 확률이 있으니, 답 한 줄이 그대로 나올 확률은 그 확률들을 차례로 곱한 것입니다. 모델 그대로의 확률로 '오늘 저녁은' 뒤에 '먹을 때'가 나올 확률을 손으로 계산해 봅시다. 참고 모델이 낸 값은 이렇습니다.

약 0.026%, 4천 번에 한 번꼴입니다. 눈여겨볼 점이 있습니다. '먹' 하나만 보면 1.15%로 낮지만, '먹'이 정해진 뒤의 '을'은 21%입니다. 앞이 정해질수록 다음 후보가 좁아집니다. 실습대 오른쪽의 "확률을 모두 곱하면 약 10의 몇 제곱"이 바로 이 곱입니다. 첫 답(씨앗 1)의 24토큰은 약 $10^{-22}$, 둘째 답(씨앗 2)은 약 $10^{-24}$였습니다.

1-3. 같은 질문, 다른 답 (6분)

이제 봄날의 신고로 돌아갑니다. 같은 앞말을 넣으면 모델은 언제나 같은 막대를 냅니다. 막대를 계산하는 데에는 무작위가 없습니다. 답이 갈라지는 곳은 단 하나, 막대에서 하나를 뽑는 순간입니다.

뽑기는 막대 길이만큼 면이 넓은 주사위를 던지는 것과 같습니다. 그 주사위가 어떤 순서로 나올지를 정하는 수가 씨앗(seed) 입니다. 실습대는 첫 답에 씨앗 1을 쓰고, '다시'를 누를 때마다 2, 3, …으로 바꿉니다. 그래서 첫 화면은 누가 열어도 같고, '다시'를 누르면 답이 갈라집니다.

참고 모델로 '오늘 저녁은'을 씨앗 1부터 100까지 백 번 이어 쓰게 해 보았습니다(실습대의 챗봇 설정, 24토큰).

첫 토큰부터 29갈래로 갈리고, 그 뒤 토큰마다 다시 갈립니다. 갈림길마다 후보가 40개라면 24토큰짜리 길은 $40^{24} \approx 2.8 \times 10^{38}$가지입니다. 실제로는 막대가 고르지 않아 자주 가는 길이 따로 있지만, 그런 길조차 확률이 $10^{-22}$ 정도라서 같은 답이 다시 나오기는 어렵습니다. 봄날의 손님이 받은 두 답도 이렇게 갈라졌습니다. 「운수 좋은 날」과 「소낙비」 모두 '비 오는 날의 단편'으로 막대가 꽤 길었을 것이고, 두 번의 뽑기가 서로 다른 쪽을 골랐을 뿐입니다. 고장이 아닙니다.

반대로 뽑지 않고 늘 가장 긴 막대만 고르면(탐욕 선택, greedy) 답은 언제나 같습니다. 대신 다른 문제가 생깁니다. 참고 모델에 앞말 '그는'을 주고 늘 1등만 고르게 하면 이렇게 됩니다.

한 번 '깜짝 놀라서'로 들어서면, 그 뒤에 가장 그럴듯한 말이 또 '깜짝 놀라서'가 되는 늪에 빠집니다. 다양함과 안정 사이의 손잡이(온도, top-k, top-p)는 7교시의 주제입니다.

1-4. 이 강의의 지도: 정거장 여덟 곳 (4분)

오늘 본 막대는 모델이라는 긴 길의 출구에서 나온 것입니다. 이 강의는 문장 하나(오늘 저녁은)를 들고 그 길을 한 정거장씩 따라갑니다.

토큰 하나는 2번에서 번호가 되고, 3번에서 숫자 목록이 되고, 4–6번에서 앞 토큰들과 섞이며 고쳐 써지고, 7번에서 막대가 됩니다. 1번 생성 루프가 그중 하나를 뽑아 다시 입구로 돌려보냅니다. 8번은 그 고리를 빠르게 도는 방법입니다.

9–12교시는 정거장이 아니라 공장입니다. 모델 속의 숫자를 어떻게 배우는지(9), 서점의 책으로 실제로 학습시키기(10), 학습한 모델 해부하기(11), 질문에 답하게 다듬기(12). 그리고 교시마다 하은과 함께 부품을 하나씩 짜서, 12교시가 끝나면 자기 컴퓨터에서 학습시킨 작은 LLM이 남습니다.

1-5. 세어서 만드는 가장 작은 언어 모델: 바이그램 (10분)

정 선임이 참고 모델 창을 닫으며 말합니다. "API 모델은 끝까지 못 열어 봐. 그런데 이 정도 모델은 하은 씨도 만들 수 있어. 말뭉치도 있잖아." 서점 연합의 단편소설 86편, 약 162만 자입니다. "하나 만들어 봐. 자기가 만든 모델은 숫자 하나까지 볼 수 있어." 하은은 그 자리에서 새 폴더를 만듭니다. 이름은 mylm. 정 선임이 덧붙입니다. "제일 작은 것부터 가자. 학습도 필요 없어. 세기만 하면 돼."

'다음 토큰의 확률'을 가장 단순하게 구하는 방법은 말뭉치에서 직접 세는 것입니다. 오늘은 토큰을 글자 하나로 둡니다(빈칸과 줄바꿈도 글자). 그리고 바로 앞 글자 하나만 보고 다음 글자의 확률을 정합니다. 둘씩 짝지어 세므로 이런 모델을 바이그램(bigram) 모델이라고 합니다.

1. 말뭉치에 나온 서로 다른 글자를 모아 번호를 붙입니다. 글자가 $V$개면 번호는 0부터 $V-1$까지입니다.
2. $V \times V$ 표를 0으로 채우고, 글에서 이웃한 두 글자 $a, b$를 볼 때마다 $a$행 $b$열에 1을 더합니다. 이 표의 칸 $N(a, b)$가 "$a$ 다음에 $b$가 나온 횟수"입니다.
3. $a$ 다음 글자의 확률은 $a$행을 그 행의 합으로 나눈 것입니다.

손으로 한 번 해 봅시다. 글이 "오늘 저녁은 오늘 점심은"(13글자, 이웃 쌍 12개)뿐이라면, 빈칸 다음에는 '저', '오', '점'이 한 번씩 왔습니다. 그래서 빈칸 다음 글자의 확률은 셋 다 $1/3$입니다. '오' 다음에는 두 번 모두 '늘'이 왔으므로 '늘'의 확률이 1입니다. 이 작은 표로 이어 쓰면 "오늘 점심은 저녁은 저녁"처럼 원문에 없던 조합도 나옵니다. '은' 다음 빈칸, 빈칸 다음 '저'처럼 짝 하나하나는 원문에 있던 것인데, 짝을 이어 붙이면 새 글이 됩니다.

아래 실습대는 김유정의 「동백꽃」 한 편(이 강의 말뭉치에 실린 그대로)을 세어 만든 바이그램 모델입니다.

실습대에서 본 것을 정리합니다.

1. 표는 거의 비어 있습니다. 「동백꽃」은 6,895자이고 서로 다른 글자가 572개입니다. 표는 572 × 572 = 327,184칸인데, 0이 아닌 칸은 2,313개(0.7%)뿐입니다. 말뭉치 전체(1,617,462자)로 세어도 서로 다른 글자 1,847개, 1,847 × 1,847 = 3,411,409칸 중 0이 아닌 칸은 55,457개(1.6%)입니다.
2. 바로 붙어 다니는 짝은 잘 잡습니다. 「동백꽃」에서 '점' 다음은 29번 중 25번이 '순'이고, '다' 다음은 181번 중 114번이 '.'입니다. 말뭉치 전체에서도 '다' 다음 글자의 63.4%가 마침표입니다. 한국어 문장이 '…다.'로 끝나는 것을 표가 그대로 담고 있습니다.
3. 그래도 문장이 되지 않습니다. 첫 글자 '나', 씨앗 1로 쓴 두 글을 나란히 놓으면 차이가 분명합니다.

(/는 줄바꿈) 참고 모델의 글도 줄거리는 없습니다. 하지만 낱말이 낱말답고, 따옴표로 대사를 열고 닫고, '하고'로 다음 줄을 잇는 소설의 모양을 따릅니다. 바이그램은 '이' 다음에 무엇이 오는지만 알고, 그 '이'가 '점순이'의 '이'인지 '이걸'의 '이'인지 모릅니다. 바로 앞 글자 하나만 보기 때문입니다.

그럼 앞 글자를 두 개 보면 될까요? 앞 두 글자의 조합마다 행이 하나씩 필요하므로, 말뭉치 전체의 글자로는 표가 $1{,}847^2 \times 1{,}847 \approx 63$억 칸이 됩니다. 셋, 넷을 보려면 표가 감당할 수 없이 커지고, 칸 대부분은 한 번도 채워지지 않습니다. 참고 모델은 표 대신 앞의 토큰 128개까지를 숫자 목록(벡터)으로 요약해서 다음 토큰을 계산합니다. 그 방법이 3–6교시의 정거장들입니다.

1-6. 내 LLM 시작하기 (5분)

하은의 mylm 폴더를 여러분 컴퓨터에도 만듭니다. 1–9교시는 파이썬과 NumPy만 씁니다.

1. 키트를 내려받아 압축을 풉니다: mylm.zip. 교시마다 채울 파일과 확인 스크립트가 들어 있습니다.

mylm/
  README.md
  get_data.py          말뭉치를 받는 스크립트
  mylm/bigram.py       1교시: 오늘 채울 파일
  checks/check_01.py   1교시 확인 스크립트

2. NumPy를 설치하고 말뭉치를 받습니다. 저작권이 끝난 단편 86편을 정리한 글이 data/corpus.txt로, 작품 목록이 data/SOURCES.txt로 저장됩니다.

$ pip install numpy
$ python get_data.py
data/corpus.txt: 3,885,989 bytes
data/SOURCES.txt: 1,833 bytes
글자 1,617,462개. 첫 줄: 질그릇이 땅에 부딪치는 소리가 났다고 들렸는데 마당엔 아무도 없다. 부엌

말뭉치를 여러분이 쓴 글로 바꿔도 됩니다. 다만 강의의 숫자(글자 수, 손실 등)는 이 말뭉치 기준입니다.

오늘의 조립

mylm/bigram.py의 세 함수를 채웁니다. 키트에 들어 있는 모양 그대로입니다.

"""1교시: 글자 단위 바이그램 언어 모델. 세기만 해서 만드는 가장 작은 언어 모델."""

import numpy as np


def count_bigrams(text: str) -> tuple[list[str], np.ndarray]:
    """글자 목록 chars와 횟수 표 counts를 돌려준다.

    chars: text에 나온 서로 다른 글자를 정렬한 목록(빈칸·줄바꿈도 글자다).
    counts[i, j]: text에서 chars[i] 바로 다음에 chars[j]가 나온 횟수. 모양 (V, V), V = len(chars).
    """
    raise NotImplementedError("1교시에서 채웁니다")


def next_probs(counts: np.ndarray, i: int) -> np.ndarray:
    """i번 글자 다음에 올 글자의 확률. counts의 i행을 그 행의 합으로 나눈다. 모양 (V,).

    i번 글자 뒤에 아무 글자도 온 적이 없으면(행의 합이 0) 모든 글자에 같은 확률 1/V를 준다.
    """
    raise NotImplementedError("1교시에서 채웁니다")


def generate(chars: list[str], counts: np.ndarray, start: str, n: int, seed: int = 0) -> str:
    """start 글자에서 시작해 n글자를 더 이어 쓴 글(길이 n + 1)을 돌려준다.

    난수기는 rng = np.random.default_rng(seed). 한 글자마다
    지금 글자의 next_probs로 rng.choice(V, p=확률)를 해서 다음 글자를 뽑고, 뽑은 글자를 다음 차례의 지금 글자로 쓴다.
    """
    raise NotImplementedError("1교시에서 채웁니다")

• count_bigrams는 1-5절의 NumPy로는 상자와 같은 계산입니다. 함수 안에 넣고 chars, counts를 돌려주면 됩니다.
• next_probs에서 행의 합이 0인 경우를 잊지 마세요. 말뭉치의 마지막 글자가 그 글자의 유일한 등장이면 뒤에 온 글자가 하나도 없습니다. 0으로 나누면 nan이 됩니다.
• generate는 1-2절의 생성 루프를 글자 단위로 쓴 것입니다. 뽑은 글자가 다음 차례의 입력이 됩니다.

다 채웠으면 키트 폴더에서 확인 스크립트를 돌립니다. 작은 글로 기준값과 비교하고, data/corpus.txt가 있으면 말뭉치 전체로도 한 번 더 셉니다. 모두 통과하면 이렇게 나옵니다(걸린 초는 컴퓨터마다 다릅니다).

$ python checks/check_01.py
[count_bigrams]
  통과  chars: 서로 다른 글자 8개를 정렬한 목록
  통과  counts 모양 (8, 8)
  통과  모든 칸이 기준값과 같습니다. 합계 12 = 글자 수 13 - 1
[next_probs]
  통과  빈칸 다음 확률 = [0, 0, 0, 0, 1/3, 0, 1/3, 1/3]
  통과  '오' 다음은 '늘'이 확률 1
  통과  한 번도 뒤에 글자가 온 적 없는 행은 고르게 1/V
[generate]
  통과  갈림길이 없는 표에서는 언제나 같은 글: '가나다가나다가'
  통과  길이 13, '오'로 시작: '오늘 오늘 점심은 점심은'
  통과  이어 쓴 글의 모든 이웃 쌍이 표에 있는 쌍입니다
  통과  같은 seed → 같은 글
  통과  seed 0~9에서 서로 다른 글 9가지
  통과  seed=0 결과가 강의 본문과 같습니다: '오늘 오늘 점심은 점심은'
[말뭉치 전체]
  통과  글자 1,617,462개, 서로 다른 글자 1,847개, 표 1,847×1,847 중 0이 아닌 칸 55,457개 (0.6초)
  통과  '다' 다음 '.' 25,233번 (말뭉치에서 직접 센 값과 같음)
  이어 쓰기 맛보기 (seed=0):
    그러나 가서서 음은, A씨 응, 소리나 그런 안고향해서 오늘 위에 비취해도 땀을 목이 않고개성님이 또 벌었다

모두 통과! 1교시 부품(바이그램 언어 모델)이 완성되었습니다.

틀리면 '실패' 줄에 무엇이 다른지(어느 칸의 기대값과 받은 값 등)가 나옵니다. generate는 뽑는 방법이 달라도 위 시험들을 통과하면 됩니다. 문서대로 rng.choice를 썼다면 seed=0 결과까지 본문과 같습니다.

기호와 모양 읽는 법

실제 LLM에서는

생성 루프는 큰 모델도 똑같습니다. 다른 것은 규모입니다. 큰 모델의 값은 공개된 자료로 알려진 대략의 자릿수입니다.

자릿수로 보면 매개변수는 천 배에서 십만 배, 학습한 글은 백만 배 넘게 차이 납니다. 그래도 바퀴마다 하는 일은 같습니다. 다음 토큰의 막대를 내고, 하나를 뽑고, 붙입니다.

자주 하는 착각 (3분)

• "모델은 답을 통째로 정해 두고 화면에 천천히 보여 준다." 모델은 바퀴마다 다음 토큰 하나의 확률만 계산합니다. 둘째 토큰은 첫 토큰이 뽑힌 뒤에야 정해집니다.
• "같은 질문에 답이 다르면 모델이 고장 났거나 덜 배운 것이다." 같은 입력이면 막대는 같습니다. 달라지는 것은 막대에서 뽑는 순간뿐입니다. 뽑기를 쓰는 것은 서비스의 선택입니다.
• "가장 높은 확률만 고르면 가장 좋은 답이 나온다." 늘 1등만 고르면 답은 같아지지만 '깜짝 놀라서 깜짝 놀라서…'처럼 같은 말의 늪에 빠지기 쉽습니다(7교시).
• "바이그램도 글을 많이 넣으면 결국 문장을 쓴다." 162만 자로 세어도 바로 앞 글자 하나만 봅니다. 글을 늘리면 표가 정확해질 뿐, 보는 범위는 넓어지지 않습니다.

연습 문제 (5분)

1. 어떤 앞말 뒤에 토큰 세 개가 차례로 확률 0.5, 0.2, 0.1로 뽑혔습니다. 같은 설정에서 이 세 토큰이 그대로 다시 나올 확률은 얼마일까요?
2. 글이 "가나가다가나"뿐입니다. '가' 다음 글자의 확률과 '나' 다음 글자의 확률을 구하세요. '다' 다음은요?
3. 1-3절에서 24토큰짜리 길이 $2.8 \times 10^{38}$가지라고 했는데, 실습대의 첫 답이 다시 나올 확률은 약 $10^{-22}$로 $1/(2.8 \times 10^{38})$보다 훨씬 큽니다. 왜일까요?
4. 말뭉치 전체의 바이그램 표는 1,847 × 1,847입니다. 칸마다 int64(8바이트)로 저장하면 몇 MB일까요? 0이 아닌 칸은 그중 몇 %일까요(0이 아닌 칸 55,457개)?

풀이

1. $0.5 \times 0.2 \times 0.1 = 0.01$, 즉 1%입니다. 확률은 토큰마다 곱합니다.
2. 이웃 쌍은 가나, 나가, 가다, 다가, 가나의 다섯 개입니다. '가' 다음은 '나' 2번, '다' 1번이므로 '나' $2/3$, '다' $1/3$입니다. '나' 다음은 '가' 1번뿐이므로 '가'가 1입니다(마지막 '나' 뒤에는 글자가 없습니다). '다' 다음도 '가' 1번뿐이라 '가'가 1입니다.
3. $2.8 \times 10^{38}$은 모든 길이 똑같이 나올 때의 수입니다. 실제 막대는 고르지 않아서, 뽑히는 길은 대개 막대가 긴 쪽을 지납니다. 그래서 실제로 뽑힌 길의 확률은 '평균적인 길'보다 훨씬 큽니다. 그래도 $10^{-22}$이면 같은 답을 다시 보기는 사실상 어렵습니다.
4. $1{,}847^2 = 3{,}411{,}409$칸 × 8바이트 ≈ 27.3MB입니다. 0이 아닌 칸은 $55{,}457 / 3{,}411{,}409 \approx 1.6\%$입니다. 칸의 98% 이상이 0인 표에 메모리를 쓰고 있습니다. 표를 더 키우는 길이 막히는 이유입니다.

하은은 퇴근 전에 바이그램이 쓴 글을 한 번 더 돌려 봅니다. 그러다 낮에 본 참고 모델의 막대가 떠오릅니다. 막대 이름이 글자 하나가 아니라 '␣저녁', '을', '거리' 같은 조각이었습니다. 왜 글자도 낱말도 아닌 조각일까요? 그 답은 수요일 아침, 보라 매니저가 들고 온 청구서에서 시작됩니다. "물레책방 챗봇 기록을 보니까, 뜻이 같은 질문인데 영어보다 한국어로 물을 때 요금이 더 붙어요. 한국어로 물으면 요금이 더 나오는 거예요?" 2교시에서는 글을 조각으로 자르는 방법(토큰화)과 BPE를 직접 학습시키고, 같은 문장의 토큰 수를 한국어와 영어로 비교합니다.