STUDYLLM
‹ Lecture 2 07 / 23

Vocabulary Size

Vocabulary를 늘린다는 것은 더 많은 문자열에 전용 ID와 vector를 주는 것이다. 익숙한 문자열을 덜 잘라도 되므로 sequence는 짧아지지만, 새 ID마다 Embedding과 output 쪽에 비용이 생긴다. 따라서 판단 기준은 “큰 사전이 좋은가”가 아니라 추가한 행의 비용을 줄어든 token 수가 얼마나 되돌려 주는가다.

  1. VV 증가
  2. nn 감소 / context 효율 ↑
  3. V×dV\times d table·logits 비용 ↑
  4. budget 내 최적점

Vocabulary Cost

큰 Vocabulary의 장점은 짧은 sequence, 더 많은 content를 context에 담기, frequent phrase 보존이다. 단점은 EE와 LM head의 V×dV\times d parameters, rare token under-training, VV에 비례하는 output logits 비용이다.

128K×4096≈524M128\mathrm{K}\times4096\approx524\mathrm{M}이며 untied 두 table이면 약 1.05B다. 같은 한 table도 1B 모델에서는 약 50%, 8B에서는 약 6.5%, 70B에서는 1% 미만이다. 작은 모델이 사전에 예산의 절반을 쓰는 선택과 큰 모델이 1% 미만을 쓰는 선택은 같은 trade-off가 아니다.

또한 등록한 token을 잘 쓰려면 해당 token의 학습 사례도 있어야 한다. Vocabulary만 크게 만들고 corpus에 거의 나오지 않는 token을 늘리면, parameters를 배정하고도 충분히 학습하지 못할 수 있다. 다음 token을 고를 때는 VV개 후보의 logits를 계산하므로 output 비용도 반복해서 지불한다. Model capacity, data와 sequence 처리 비용을 함께 고려해야 하는 이유다.

Compute Budget

Tao et al. 예시는 같은 FLOPs budget에서 VV를 바꿔 loss를 비교하고 optimal vocab curve를 추정한다. Llama2-70B의 shipped32K와 predicted216K+는 실측 학습 모델 성능 비교가 아니라 scaling-law 예측이다. 더 큰 compute에 큰 Vocabulary가 맞는 경향과 개별 tokenizer의 관측 점을 구분한다.

SuperBPE

SuperBPE는 stage1 Pre-tokenization on으로 Subword를 배우고 stage2 off로 공백을 넘어 phrase를 merge한다. by/the/way 3 tokens가 phrase 1 token이 될 수 있다. 8B-scale·200K vocab의 통제 비교에서 token 수 -33%, 30 tasks 평균 +4.0%p, inference compute -27%가 보고됐다. 모든 모델의 보편적 향상률은 아니다.

이 비교에서 FLOPs를 고정하는 이유는 큰 사전에 추가 예산을 주고 좋아졌다고 말하지 않기 위해서다. Tao et al.은 IsoFLOPs 비교, derivative estimate, parametric fit으로 budget별 최적점을 추정했다. 곡선은 자체 33M–3B 모델에 맞춘 것이고, GPT-2·cl100k·Llama 3·o200k 점들은 별도의 배포 관측이다. 큰 모델에서는 긴 sequence를 network 전체로 처리하는 비용이 커져, 사전 증가가 절약하는 token 수의 가치도 커질 수 있다.

SuperBPE도 공백 경계가 절대적이어야 하는지 묻는다. 처음부터 모든 경계를 없애는 대신 먼저 Subwords를 배운 뒤 그 pieces로 phrase를 만든다. of course, as well as, in front of도 이런 후보이며, curriculum의 순서가 핵심이다. 위 수치와 함께 슬라이드의 MMLU +8.2%p도 해당 통제 비교의 결과다. 모든 모델·데이터에 같은 향상률이 나온다는 법칙으로 읽지 않는다.

Embedding parameters=Vd\text{Embedding parameters}=Vd Untied input + output=2Vd\text{Untied input + output}=2Vd

216K+는 해당 논문의 예측값이다. 실제 배포 Llama2 Vocabulary로 바꾸지 않는다.

V×dV\times d 비용과 sequence 절약을 같은 budget에서 비교한다.

Check

같은 524M Embedding table이 작은 모델과 큰 모델에서 다른 판단을 요구하는 이유는?

Answer

전체 parameter budget에서 차지하는 비율이 다르다. table 비용뿐 아니라 sequence 절약으로 줄이는 계산을 함께 비교해야 한다.

SuperBPE가 처음부터 Pre-tokenization을 제거하지 않고 두 단계로 학습하는 이유는?

Answer

먼저 재사용할 Subword를 배우고 그 위에서 phrase를 구성하는 curriculum이다. 단어 경계를 넘는 merge를 허용하면서 순서를 조정한다.

Contents