Tokenization

사람은 단어와 문법을 배워 문장을 읽지만, 모델이 처음부터 같은 단위를 알고 있는 것은 아니다. Tokenization을 살펴보기 전에, 의미를 모르는 기호라도 관찰과 비교를 통해 재사용 가능한 단위를 찾아낼 수 있다는 점부터 생각해 보자. 이 강의는 그러한 단위를 정하는 Tokenization에서 출발해, Token IDs를 수치 표현으로 바꾸는 Embedding으로 이어진다.

Emergent Language

두 neural network가 카드 맞히기 게임을 한다고 하자. Sender만 정답 카드를 보고 기호로 메시지를 보내며, Receiver는 그 메시지로 카드를 고른다. 정답을 맞히면 두 모델 모두 reward를 받지만, 사람이 쓰는 단어나 문법은 주어지지 않는다. 따라서 둘이 주고받는 기호는 정답을 맞히는 데 유용하도록 학습 과정에서 만들어진 communication code, 즉 emergent language다.

이 기호를 모르는 관찰자에게도 카드와 메시지의 대응 corpus가 있다면 규칙을 추정할 수 있다. 다음 세 관찰에서 한 번에 한 속성만 바꾸어 비교해 보자.

RSQ와 BSQ를 비교하면 SQ가 square, R과 B가 각각 red와 blue에 대응한다는 가설을 세울 수 있다. RSQ와 RCI를 비교하면 CI를 circle에 대응시킬 수 있다. 세 메시지를 통째로 외우는 대신 R, B, SQ, CI라는 네 조각으로 이루어진 작은 phrasebook을 만든 것이다. 관찰한 corpus에서 추론한 규칙이므로, 새로운 사례를 보면 이 가설을 다시 점검해야 한다.

Reusing the Pieces

이 inventory를 조합하면 아직 보지 못한 blue circle을 B + CI, 즉 BCI로 표현할 수 있다. 강의의 실험에서는 학습된 Sender 대신 이 phrasebook을 사용하는 rule-based Sender가 메시지를 만들어도, 기존 neural Receiver가 새로운 조합을 이해했다. 통째로 본 적 없는 메시지라도 익숙한 부분을 재조합하여 전달할 수 있다는 뜻이다.

이 사례가 BPE가 의미를 해독한다는 뜻은 아니다. BPE는 뒤에서 볼 빈도 기반 merge algorithm이며, 여기서의 목적은 모델의 language unit과 사람이 직관적으로 생각하는 단어가 같다고 가정하지 않는 데 있다. 처음에는 뜻 없는 기호였던 입력도 학습을 거치며 유용한 규칙을 갖게 된다. 다음 section에서는 실제 LLM이 문자열을 어떤 단위로 나누고, 그 단위를 어떻게 Token IDs와 Embedding으로 연결하는지 살펴본다.

Check

RSQ와 BSQ, RSQ와 RCI의 비교로 각각 어떤 정보를 분리할 수 있는가?

Emergent language의 의미 조합 예시를 BPE의 학습 기준과 동일시하면 왜 틀리는가?

Related

• Text → Token IDs → Embedding
• Byte-Pair Encoding