글자를 조각으로: 토큰화와 BPE

같은 주 수요일 아침, 보라 매니저가 출력한 종이 두 장을 하은의 책상에 내려놓습니다. 한 장은 이번 달 API 청구서, 다른 한 장은 물레책방 챗봇의 대화 기록입니다. 물레책방은 대학가 골목에 있어 유학생 손님이 많고, 지난달부터 챗봇이 영어 질문도 받습니다. 보라 매니저가 형광펜으로 줄을 그어 둔 곳을 가리킵니다. "오늘 몇 시에 문을 닫나요?"와 "What time do you close today?" 뜻이 같은 질문인데, 한국어로 물은 쪽에 요금이 더 붙어 있습니다. "한국어라서 돈을 더 받는 거예요?"

하은이 먼저 추측합니다. "한국어 글자가 복잡해서 그런가요? 아니면 글자 수로 받는데… 아, 그런데 한국어 문장이 글자 수는 더 적네요." 아래층에서 올라오는 인쇄기 냄새 사이로 정 선임이 의자를 끌고 옵니다. "추측하지 말고 찍어 보자. 청구서에 적힌 단위부터 봐."

청구서의 줄마다 붙은 단위는 글자도 단어도 아닌 토큰입니다. '입력 토큰', '출력 토큰'. 정 선임이 말합니다. "모델은 글자를 보지 않아. 토큰을 봐. 월요일에 만든 바이그램은 글자 하나가 한 칸이었지? 진짜 모델의 한 칸에는 글자 조각이 들어가. 그 조각을 어디서 자르는지가 오늘 일이야. 자르는 규칙을 우리가 직접 만들어 보면, 왜 한국어가 더 나오는지도 보여."

이번 교시에서는 글자, 바이트, 토큰을 나란히 세어 보고, 글자 밑에 있는 UTF-8 바이트를 확인합니다. 이어서 가장 자주 붙어 나오는 쌍을 하나씩 합치는 BPE를 실습대에서 한 단계씩 돌리고, 그 규칙이 어떤 글로 배웠느냐에 따라 같은 뜻의 문장이 다른 토큰 수가 된다는 것을 직접 잽니다. 마지막에 내 LLM의 토크나이저(mylm/bpe.py)를 짭니다.

2-1. 청구서는 토큰을 셉니다 (5분)

대형 언어 모델을 API로 부르면, 응답과 함께 사용량이 돌아옵니다. 대개 입력 토큰 수(우리가 보낸 질문과 앞선 대화)와 출력 토큰 수(모델이 쓴 답)이고, 청구서는 이 두 수에 각각의 단가를 곱해 더합니다. 그러니 "왜 비싼가"는 "왜 토큰이 많은가"와 같은 질문입니다.

토큰(token) 은 모델이 한 칸으로 다루는 글 조각입니다. 1교시에서 언어 모델은 '다음 토큰'의 확률을 냈습니다. 그 토큰이 무엇인지 아래 실습대에서 직접 세어 봅시다. 실습대의 토큰은 참고 모델(1교시에서 정 선임이 보여 준, 단편 86편으로 학습한 작은 모델)의 토크나이저(tokenizer), 즉 글을 토큰으로 자르는 규칙이 자른 것입니다. 이 토크나이저는 하은의 모델과 같은 한국 단편소설 말뭉치로 배웠습니다.

첫 문장을 세 가지로 세면 이렇습니다.

토큰은 단어도 글자도 아닙니다. '저녁은'은 '▁저녁'과 '은' 두 토큰이 되고, '오늘'은 한 토큰, '생각하다가'는 '▁생각 / 하 / 다가' 세 토큰입니다. 맨 앞의 ▁는 '여기서 낱말이 시작한다(앞에 공백이 있었다)'는 표시입니다. 이 표시 덕분에 토큰을 다시 이어 붙일 때 띄어쓰기를 되살릴 수 있습니다. 1교시 실습대의 막대 이름에 보이던 ␣가 바로 이 ▁입니다(1교시 화면은 빈칸이 눈에 띄게 ␣로 그렸습니다).

모델이 실제로 받는 것은 조각의 글자가 아니라 토큰 번호입니다. 첫 문장은 [1873, 2088, 1090, 1853, 1092, 1678, 1092, 183, 1638, 1652, 1483, 1636]이라는 번호 12개가 되어 모델로 들어갑니다. 번호는 어휘 목록 안의 자리일 뿐, 번호 자체에 뜻은 없습니다(뜻을 담는 일은 3교시의 임베딩이 합니다).

그러면 조각은 어디서 자를까요? 사람이 사전을 보고 정한 것이 아닙니다. 말뭉치에서 자주 붙어 나오는 글자끼리 묶는다는 규칙 하나로 기계가 정했습니다. 그 규칙(2-3절)을 보기 전에, 글자 밑에 무엇이 있는지부터 봅니다.

2-2. 글자 밑에는 바이트가 있습니다 (7분)

컴퓨터는 글자를 바이트(0–255 사이의 수)의 줄로 저장합니다. 그 사이에 두 단계가 있습니다.

1. 유니코드(Unicode) 가 세상의 글자마다 번호(코드 포인트)를 하나씩 붙입니다. 'A'는 U+0041, '가'는 U+AC00입니다. 현대 한글 음절은 '가'(U+AC00)부터 '힣'(U+D7A3)까지 11,172자가 차례로 번호를 받았습니다.
2. UTF-8 이 그 번호를 1–4바이트로 적습니다. 번호가 작을수록 짧게 적습니다.

영문 알파벳과 숫자, 공백은 1바이트, 한글 음절은 3바이트입니다(이모지 같은 글자는 4바이트). 그래서 첫 문장은 글자 23개인데 바이트는 59개입니다. 한글 18자 × 3 + 공백 5개 × 1 = 59.

손으로 한 번 적어 봅시다. '가'의 번호 AC00을 2진수로 쓰면 1010 1100 0000 0000(16비트)입니다. 3바이트 UTF-8의 틀은 1110xxxx 10xxxxxx 10xxxxxx이고, x 자리 16개에 위 비트를 앞에서부터 4·6·6개씩 나눠 넣습니다.

파이썬으로 확인하면 같습니다.

>>> hex(ord("가"))
'0xac00'
>>> "가".encode("utf-8")
b'\xea\xb0\x80'
>>> s = "물레책방"
>>> len(s), len(s.encode("utf-8"))
(4, 12)
>>> len("book".encode("utf-8"))
4

토크나이저는 어디서부터 묶기 시작할지 정해야 합니다. 방법은 두 가지입니다.

• 글자에서 시작. 참고 토크나이저의 방식입니다. 말뭉치에 3번 이상 나온 글자 1,584개와 <unk>(모르는 글자) 하나, 모두 1,585개가 기본 어휘입니다. 3번 미만 나온 글자는 <unk> 하나로 뭉갭니다. 이 말뭉치는 한국 소설이라 영어 소문자는 c, i, l, n, o 다섯 개뿐이고, 실습대에서 본 것처럼 영어 문장은 대부분 <unk>가 됩니다. 그런 토큰은 decode해도 원래 글로 돌아오지 않습니다.
• 바이트에서 시작. 기본 어휘가 바이트 256개입니다. 어떤 글자든 바이트로는 적을 수 있으니 <unk>가 생기지 않습니다. 대신 처음 보는 글자는 바이트 조각으로 잘게 쪼개지고, 한글 한 글자는 처음에 세 조각입니다. 여러 언어를 받아야 하는 대형 모델의 토크나이저는 대개 이 방식을 씁니다.

2-3. BPE: 가장 자주 붙어 나오는 쌍부터 합칩니다 (12분)

BPE(byte pair encoding, 바이트 쌍 인코딩) 는 토큰을 만드는 가장 널리 쓰이는 방법입니다. 규칙은 하나입니다. 이웃한 두 조각 중 가장 자주 붙어 나오는 쌍을 하나로 합친다. 이것을 정한 횟수만큼 되풀이한다.

1. 글을 띄어쓰기로 나눠 낱말마다 몇 번 나왔는지 셉니다. 낱말 앞에 ▁를 붙이고 한 글자씩 쪼갭니다.
2. 낱말 안에서 이웃한 두 조각의 쌍을 모두 셉니다. 낱말이 4번 나왔다면 그 안의 쌍도 4번으로 셉니다.
3. 가장 많이 나온 쌍 하나를 새 조각으로 합치고, 병합 표에 한 줄 적습니다. 새 조각은 어휘에 하나 더해집니다.
4. 2–3을 되풀이합니다. 가장 많은 쌍도 1번뿐이면 더 합칠 것이 없어 멈춥니다.

아래 실습대는 물레책방에 손님이 오가는 짧은 글로 이 과정을 한 단계씩 보여 줍니다.

실습대에서 본 것을 정리합니다.

1. 자주 나오는 것이 먼저 한 조각이 된다. 문장 끝 '다.', 네 번 나온 '손님이'처럼 많이 나온 조각이 먼저 합쳐집니다. 한 번 나온 '물레책방에'는 합칠 이유가 없습니다.
2. 조각은 뜻과 상관없다. BPE는 횟수만 셉니다. 그래도 결과는 그럴듯합니다. 영어에서는 꼬리 'est'가, 한국어에서는 '다.' 같은 어미가 먼저 묶입니다. 자주 나오는 데에는 이유가 있기 때문입니다.
3. 병합 표가 곧 토크나이저다. 배운 결과는 병합 규칙의 순서 있는 목록과, 기본 글자 + 병합으로 생긴 조각을 모은 어휘 목록 두 가지뿐입니다.

작은 숫자로 손 계산을 한 번 해 봅시다. 글이 "책방 책방 책방 책"이면 낱말은 ▁책방이 3번, ▁책이 1번입니다.

어휘는 기본 글자 '▁', '방', '책'과 <unk>에 병합으로 생긴 '▁책', '▁책방'이 더해져 6개가 됩니다.

참고 토크나이저는 한국 단편소설 86편(1,617,462자)으로 이 과정을 1,000번 되풀이했습니다. 병합 표의 처음은 이렇습니다.

새 글을 토큰으로 자를 때(encode) 는 배운 병합을 배운 순서대로 적용합니다. 낱말을 한 글자씩 쪼갠 뒤, 이웃한 쌍 가운데 병합 표에서 가장 앞에 있는 규칙부터 하나씩 합칩니다. 아래 실습대가 참고 토크나이저의 병합 1,000개로 직접 입력한 낱말을 자릅니다.

2-4. 어휘 크기의 저울질 (5분)

병합을 몇 번 할지는 사람이 정합니다. 병합을 늘리면 어휘가 커지고, 같은 글이 더 적은 토큰이 됩니다. 참고 토크나이저의 병합 표를 앞에서부터 k개만 써서 말뭉치 전체를 잘라 보았습니다.

병합 0번이면 토큰이 글자보다 많습니다(토큰 하나에 0.98자). 낱말마다 ▁가 한 칸씩 따로 붙기 때문입니다. 처음 100번의 병합이 토큰을 31만 개 넘게 줄이고, 마지막 500번은 10만 개 남짓 줄입니다. 자주 나오는 쌍부터 합치므로 뒤로 갈수록 효과가 작아집니다.

그러면 병합을 무한히 늘리면 좋을까요? 저울의 양쪽은 이렇습니다.

참고 모델은 어휘 2,585개에 d = 128이라 임베딩 표가 2,585 × 128 = 330,880개의 숫자입니다. 모델 전체 매개변수 1,140,608개의 29%입니다. 작은 모델일수록 이 비중이 커서, 어휘를 함부로 키울 수 없습니다.

2-5. 같은 뜻, 다른 토큰 수 (7분)

이제 신고로 돌아갑니다. 바깥 대형 모델의 토크나이저 속은 볼 수 없습니다. 그래서 정 선임은 원리가 같은 작은 토크나이저를 직접 만들어 보자고 합니다. 하은이 서점 챗봇에 들어올 법한 질문 44개를 한국어와 영어로 나란히 썼습니다. 38쌍은 토크나이저를 가르치는 데 쓰고, 6쌍은 배울 때 쓰지 않고 토큰 수를 재는 데만 씁니다. 토크나이저는 바이트 256개에서 시작하는 BPE입니다. 배울 글에서 영어와 한국어를 얼마나 섞을지는 손잡이로 바꿀 수 있습니다.

실습대의 숫자를 표로 모았습니다(시험용 6쌍의 합계, 병합 100개).

두 가지가 겹쳐서 차이가 납니다.

1. 바이트에서 출발이 다르다. 같은 뜻의 한국어 문장은 글자 수가 영어의 절반이 안 되지만, 한글 한 글자가 3바이트라 바이트로는 비슷해집니다. 출발선은 거의 같습니다.
2. 병합을 어느 언어가 가져가느냐. BPE는 배운 글에서 자주 나온 쌍부터 합칩니다. 영어가 90%인 글로 배우면 병합이 ' t', 'oo', 'ook', ' book' 같은 영어 조각에 먼저 쓰이고, 한국어는 바이트 조각으로 남습니다. 한국어가 90%면 반대가 됩니다.

그러니 "한국어는 원래 비싼 언어"가 아닙니다. 토크나이저가 어떤 글로 배웠느냐가 토큰 수를 정합니다.

실제 서비스로 돌아가면 이렇습니다. API로 부르는 대형 모델의 토크나이저는 대개 바이트에서 시작하는 BPE 계열이고, 학습에 쓴 글에서 영어의 비중이 큰 경우가 많습니다. 그래서 같은 뜻이라도 한국어가 토큰을 더 쓰는 경향이 있습니다. 다만 얼마나 더 쓰는지는 토크나이저마다 다릅니다. 위 표의 1.91배는 우리가 만든 작은 토크나이저의 숫자이지 바깥 모델의 숫자가 아닙니다. 하은은 이 표를 보고서에 넣는 대신, 같은 질문 몇 개를 한국어와 영어로 API에 보내고 응답에 찍힌 입력 토큰 수를 직접 비교하기로 합니다. 대화 기록에서 확인한 대로 한국어 쪽 입력 토큰이 더 많았습니다.

2-6. 토큰이 정하는 것: 요금과 문맥 길이 (5분)

토큰 수는 요금만 정하지 않습니다.

• 요금. 입력 토큰 × 입력 단가 + 출력 토큰 × 출력 단가. 같은 뜻을 더 많은 토큰으로 적는 언어는 같은 대화에 더 많이 냅니다.
• 문맥 창(context window). 모델이 한 번에 볼 수 있는 길이도 토큰으로 정해져 있습니다. 참고 모델은 128토큰입니다. 토큰 하나에 1.64자이니 소설 글로 약 210자입니다. 같은 모델을 병합 0번(토큰 하나에 0.98자)으로 만들었다면 약 125자밖에 보지 못합니다.
• 계산량과 속도. 모델은 토큰 하나마다 한 번씩 계산을 돌립니다(1교시의 생성 루프). 토큰이 많으면 답도 느려집니다.

챗봇은 대화가 이어질 때마다 앞선 대화를 다시 입력으로 보냅니다. 앞부분의 토큰이 매번 다시 세어지는 셈입니다. 이 문제는 8교시(KV 캐시와 문맥 창)에서 다시 만납니다.

오늘의 조립

mylm/bpe.py를 엽니다. words_of(글 → ▁가 붙은 낱말 목록), base_vocab(기본 어휘), save·load(JSON으로 저장·읽기)는 이미 들어 있습니다. 채울 함수는 다섯 개입니다.

def count_pairs(words):
    """words: {글자 조각 튜플: 그 낱말이 나온 횟수}. 이웃한 두 조각의 쌍마다 몇 번 나왔는지 센다.

    >>> count_pairs({("▁", "책", "방"): 3, ("▁", "책"): 2})
    Counter({('▁', '책'): 5, ('책', '방'): 3})
    """
    raise NotImplementedError("2교시에서 채웁니다")


def merge_pair(sym, a, b):
    """조각 튜플 sym에서 이웃한 (a, b)를 왼쪽부터 모두 a+b 하나로 합친다.

    >>> merge_pair(("▁", "책", "방", "책"), "▁", "책")
    ('▁책', '방', '책')
    """
    raise NotImplementedError("2교시에서 채웁니다")


def train(text, n_merges, min_count=1):
    """병합 규칙을 배운다. 돌려주는 값: (vocab, merges)

    vocab: 기본 어휘 + 병합으로 생긴 조각(병합한 순서대로). 토큰 번호 = vocab 안의 자리.
    merges: [(a, b), ...] 병합한 순서대로.
    한 번에 가장 많이 나온 쌍 하나를 합친다(동점이면 먼저 센 쌍: Counter.most_common(1)).
    가장 많은 쌍도 2번 미만이면 일찍 멈춘다.

    >>> vocab, merges = train("책방 책방 책방 책", 2)
    >>> merges
    [('▁', '책'), ('▁책', '방')]
    >>> vocab
    ['▁', '방', '책', '<unk>', '▁책', '▁책방']
    """
    raise NotImplementedError("2교시에서 채웁니다")


def encode(text, vocab, merges):
    """글 → 토큰 번호 목록. 낱말마다 글자로 쪼갠 뒤, 배운 순서가 빠른 병합부터 적용한다.

    >>> vocab, merges = train("책방 책방 책방 책", 2)
    >>> encode("책방 책 방", vocab, merges)
    [5, 4, 0, 1]
    """
    raise NotImplementedError("2교시에서 채웁니다")


def decode(ids, vocab):
    """토큰 번호 목록 → 글. 조각을 이어 붙이고 ▁를 공백으로 되돌린다.

    >>> vocab, merges = train("책방 책방 책방 책", 2)
    >>> decode([5, 4, 0, 1], vocab)
    '책방 책 방'
    """
    raise NotImplementedError("2교시에서 채웁니다")

몇 가지 도움말입니다.

• train은 collections.Counter(words_of(text))로 낱말을 세고, base_vocab(counts, min_count)로 기본 어휘를 만든 뒤, 낱말마다 글자 튜플을 만들어 시작합니다(어휘에 없는 글자는 UNK). 그다음은 2-3절의 1–4 그대로입니다. 합친 뒤에는 모든 낱말에 merge_pair를 적용하고, 결과가 같아진 낱말은 횟수를 더해 하나로 둡니다.
• encode는 {조각: 번호}와 {(a, b): 병합 순서} 사전을 먼저 만들어 두면 쉽습니다. 낱말마다 "이웃한 쌍 중 병합 순서가 가장 빠른 쌍"을 찾아 합치기를, 더 합칠 쌍이 없을 때까지 되풀이합니다.
• decode는 조각을 이어 붙인 뒤 줄바꿈 바로 뒤의 ▁는 지우고("\n▁" → "\n"), 나머지 ▁는 공백으로 바꾸고, 맨 앞 공백 하나를 뗍니다.

다 채웠으면 확인합니다. data/corpus.txt가 있으면 말뭉치 앞 5만 자로 한 번 더 확인합니다(초는 컴퓨터마다 다릅니다).

$ python checks/check_02.py
통과  count_pairs: 쌍마다 낱말 횟수를 더해 센다
통과  merge_pair: 왼쪽부터 겹치지 않게 모두 합친다
통과  train: 짧은 예(병합 2번)
통과  train: 물레책방 글에서 병합 3번
통과  train: 물레책방 글에서 병합 10번 뒤 멈춤, 어휘 34개
통과  encode: 물레책방 글 → 토큰 39개 (글자 69개)
통과  encode: 어휘에 없는 글자는 <unk>
통과  decode: 토큰 번호 → 원래 글
통과  왕복: decode(encode(글)) == 글 (줄바꿈 포함)
통과  말뭉치 앞 5만 자: 병합 50번이 기준과 같다 (0.5초), 앞 5천 자 → 토큰 4,251개

모두 통과 (10개). 내 BPE 토크나이저가 완성되었습니다.
이어서: python -m mylm.bpe 200  → 말뭉치에서 병합 200번을 배워 data/tokenizer.json에 저장합니다.

물레책방 글의 결과(병합 10번, 토큰 39개)는 2-3절 실습대와 같습니다. 이어서 말뭉치 전체로 병합 200번을 배워 data/tokenizer.json에 저장합니다. 말뭉치에서는 3번 미만 나온 글자를 <unk>로 두는 min_count=3을 씁니다.

$ python -m mylm.bpe 200
병합 200번, 어휘 1,785개, 59.5초
처음 2만 자 → 토큰 15,233개 (토큰당 1.31자)
data/tokenizer.json에 저장했습니다.

우리 데스크톱에서 병합 200번은 1분쯤, 1,000번은 4분 안팎 걸렸습니다. python -m mylm.bpe 1000처럼 1,000번을 다 돌리면 참고 토크나이저와 똑같은 병합 1,000개와 어휘 2,585개가 나옵니다. 같은 규칙, 같은 말뭉치이기 때문입니다. 기다리기 어렵다면 200번으로 저장한 것으로 다음 교시를 이어 가도 됩니다.

기호와 모양 읽는 법

실제 LLM에서는

규모는 자릿수로 한두 단계에서 서너 단계까지 차이 나지만 규칙은 같습니다. 자주 붙어 나오는 쌍을 합치고, 배운 순서대로 자릅니다. 어휘가 큰 토크나이저는 한 언어만이 아니라 여러 언어의 조각을 함께 담을 자리가 있어서, 언어 사이의 차이가 우리 실습대보다 작을 수 있습니다. 실제 차이는 쓰는 모델에서 직접 재는 수밖에 없습니다.

자주 하는 착각 (4분)

• "토큰 하나 = 단어 하나." '저녁은'은 두 토큰, '생각하다가'는 세 토큰이었습니다. 반대로 자주 나오는 짧은 말은 한 토큰입니다. 토큰은 횟수로 정한 조각일 뿐, 문법 단위가 아닙니다.
• "토큰 하나 = 글자 하나." 그건 1교시의 글자 바이그램입니다. 참고 토크나이저는 토큰 하나에 평균 1.64자입니다. 바이트에서 시작한 토크나이저에서는 반대로 글자 하나가 여러 토큰이 되기도 합니다.
• "한국어는 원래 토큰이 많이 드는 언어다." 실습대에서 한국어 90%로 배운 토크나이저는 한국어를 영어의 절반 아래로 적었습니다. 토큰 수는 언어가 아니라 토크나이저가 배운 글이 정합니다.
• "어휘가 클수록 언제나 좋다." 토큰은 줄지만 임베딩 표와 출력층이 커지고, 드문 조각은 제대로 배우지 못합니다. 병합의 효과도 뒤로 갈수록 작아집니다.
• "토큰 번호에 뜻이 있다." 1873번이 '▁오늘'인 것은 어휘 목록의 자리일 뿐입니다. 번호가 가깝다고 뜻이 가깝지 않습니다. 뜻은 3교시에서 임베딩이 맡습니다.

연습 문제 (5분)

1. 글 "책방 책방 책 방"으로 BPE를 손으로 돌려 보세요. 병합은 몇 번에서 멈추고, 각 병합은 무엇이며, 토큰 수는 어떻게 바뀔까요?
2. "책방 가는 길"(띄어쓰기 2개 포함)은 글자 몇 개, UTF-8 바이트 몇 개일까요?
3. 참고 모델(d = 128)의 어휘를 2,585개에서 5,000개로 늘리면 임베딩 표의 숫자는 몇 개 늘까요?
4. 참고 모델의 문맥 창 128토큰에는 소설 글이 대략 몇 자 들어갈까요? 병합 없이 글자 단위(토큰 하나에 0.98자)였다면요?

풀이

1. 낱말은 ▁책방 2번, ▁책 1번, ▁방 1번입니다. 처음 쌍은 (▁, 책) 2 + 1 = 3번, (책, 방) 2번, (▁, 방) 1번이라 ▁ + 책을 합칩니다. 다음엔 (▁책, 방) 2번, (▁, 방) 1번이라 ▁책 + 방을 합칩니다. 남은 쌍은 (▁, 방) 1번뿐이라 병합 2번에서 멈춥니다. 토큰 수는 3×2 + 2 + 2 = 10 → 2×2 + 1 + 2 = 7 → 2 + 1 + 2 = 5입니다. 오늘의 조립을 마쳤다면 train("책방 책방 책 방", 5)로 확인할 수 있습니다.
2. 글자는 7개, 바이트는 한글 5자 × 3 + 공백 2개 × 1 = 17개입니다. 참고 토크나이저로는 '▁책 / 방 / ▁가는 / ▁길' 4토큰입니다.
3. (5,000 − 2,585) × 128 = 309,120개 늘어납니다. 지금 모델 전체(1,140,608개)의 4분의 1이 넘는 양입니다.
4. 128 × 1.64 ≈ 210자입니다. 글자 단위라면 128 × 0.98 ≈ 125자로, 같은 모델이 볼 수 있는 글이 40%쯤 줄어듭니다.

보고서를 받은 보라 매니저가 고개를 끄덕이다가, 금요일 아침에 다시 하은의 자리로 옵니다. 이번에는 항구 앞에 있는 '항구서점'의 신고입니다. "손님이 배 타고 가는 여행책을 찾아서 사장님이 챗봇에 물었는데, 과일 배 얘기를 늘어놨대요." 하은은 참고 토크나이저로 '배'를 잘라 봅니다. 어느 문장의 '배'든 같은 토큰 번호 하나입니다. 번호만으로는 배와 배를 구별할 방법이 없습니다. 3교시에서는 토큰 번호가 숫자 목록(임베딩)이 되는 과정을 따라가고, 그 목록만으로는 왜 아직 세 가지 '배'를 가를 수 없는지 확인합니다.