Korean PLMs
앞에서 본 PLM recipe는 한국어에도 적용할 수 있다. 다만 English 중심 corpus와 Vocabulary를 그대로 사용하는 것과, 한국어 text에 맞춰 Tokenizer와 model을 함께 학습하는 것은 다르다. KoBERT·KoGPT2·KoBART·KoELECTRA는 새로운 objective 계열의 이름이라기보다, 기존 architecture와 objective를 한국어 data에 적용한 사례다.
Korean Pre-trained Models
강의에 제시된 모델의 corpus, Vocabulary, objective를 함께 비교하면 어떤 부분을 재사용하고 어떤 부분을 언어에 맞췄는지 보인다.
| Model | Release / Contributor | Parameters | Corpus | Vocabulary / Tokenizer | Objective |
|---|---|---|---|---|---|
| KoBERT | SKT Brain, 2019 | 92M | Wikipedia, 5M sentences | 8,002 / SentencePiece | MLM + NSP |
| KoGPT2 | SKT, 2020 | 125M | 40GB+ text | 51,200 / BPE | Next-token prediction |
| KoBART | SKT, 2020 | 124M | 40GB+ text | 30,000 / BPE | Text infilling |
| KoELECTRA-Base | Park, 2020 | 110M | 34GB, v3 | 35,000 / WordPiece | RTD |
KoBERT와 KoELECTRA는 전체 입력을 읽는 Encoder representation을, KoGPT2는 causal continuation을, KoBART는 corrupted input에서 sequence를 복원하는 방식을 학습한다. 각 objective의 mechanism은 앞의 BERT·ELECTRA·GPT·BART 설명과 이어진다. 한국어라는 공통점보다 어떤 prediction 문제로 pre-training했는지가 task interface를 이해하는 기준이다.
Vocabulary size도 model의 전체 parameter 수와 같은 값이 아니다. KoBERT의 8,002개 Vocabulary는 token을 구분하는 방식에 해당하며, Transformer 내부의 표현 capacity 전체를 뜻하지 않는다. Tokenizer의 ID는 학습된 Embedding row와 대응하므로, 원 English 모델이나 다른 한국어 모델의 Tokenizer로 임의 교체할 수 없다. Corpus 규모와 version도 서로 다르기 때문에, 표의 숫자는 강의에 제시된 해당 release 조건으로 읽는다. KoELECTRA는 기업뿐 아니라 개인 연구자의 공개 모델 기여도 이 흐름에 포함된다는 사례다.
Check
KoELECTRA와 KoGPT2의 차이를 국가 이름이 아닌 objective로 설명하라.
Answer
KoELECTRA는 RTD로 Encoder representations, KoGPT2는 causal next-token으로 continuation을 학습한다.
Korean model의 Tokenizer를 English 원 모델 것으로 그대로 교체할 수 없는 이유는?
Answer
ID↔Embedding row의 의미 정렬이 다르다. Tokenizer와 weights를 맞춰 써야 한다.