From PLM to LLM
PLM에서 LLM으로의 변화는 Transformer나 pre-training이 사라진 사건이 아니다. Broad text의 self-supervision으로 backbone을 만들고, checkpoint를 downstream에 재사용한다는 공통점은 이어진다. 달라진 것은 scale뿐 아니라 task를 모델에 전달하는 interface, post-training, deployment 방식이다.
The Interface Changed with Scale
| Model | Scale | Main Interface in the Original Work | Common Label |
|---|---|---|---|
| BERT | 110M / 340M | Task-specific fine-tuning + heads | PLM |
| GPT-2 | 1.5B | Zero-shot text completion | Transitional |
| GPT-3 | 175B | Zero-, one-, few-shot ICL | LLM |
| Llama 3 | 8B–405B | Base + post-trained instruction models | LLM family |
BERT에서는 checkpoint 위에 task head를 붙이고 labeled data로 fine-tuning하는 사용이 중심이었다. GPT-2에서는 task를 text pattern으로 주어 completion으로 수행할 가능성이 드러났고, GPT-3에서는 demonstrations를 context에 넣는 ICL이 중요한 interface가 되었다. 이 과정에서 task별 weights update 없이도 입력 context가 computation을 바꿀 수 있다는 점이 부각되었다.
표의 PLM/LLM 명칭은 parameter threshold 하나로 나눈 공식 분류가 아니다. Model/data/compute의 scale, prompting interface, historical convention이 함께 작용한다. 작은 모델도 instruction interface를 가질 수 있으므로, 이름만으로 어떤 학습 stage를 거쳤는지 판단하지 않는다.
Base and Instruction Models
Base model은 pre-training을 마친 checkpoint이고, instruction model은 instruction following을 위한 post-training을 추가한 모델이다. 같은 family에서도 어느 checkpoint를 쓰는지에 따라 기대하는 입력 형식과 동작이 달라진다. Instruction model이라고 부른다는 사실과, inference에서 다시 weights를 학습한다는 말은 다르다.
이후 생태계는 더 많은 data·compute·parameters뿐 아니라 post-training과 deployment stack까지 포함한다. Open weights 위의 adaptation, 효율적인 Attention과 MoE, 실제 traffic의 serving 비용도 모델 발전을 설명하는 축이 된다.
Continuity Does Not Mean One Winner
공통점은 self-supervised pre-training, Transformer backbone, reusable checkpoint다. 변화는 훨씬 큰 학습 규모, weights update 없는 prompting/ICL, post-training·deployment stack이다. 이 두 층을 함께 보면 이전 계열이 완전히 폐기되었다고 오해하지 않는다.
교수님은 어떤 architecture가 항상 우수하다는 결론보다, task의 필요와 자본·인프라 투자의 흐름을 보라고 강조했다. Encoder는 Classification·Retrieval에, Encoder-decoder는 source-conditioned generation에 여전히 적합한 역할이 있다. 과거의 구조도 새로운 조건이나 재사용 방식에서 다시 등장할 수 있다. 이 강의의 연결은 모델 이름을 연도순으로 외우는 데서 끝나지 않고, 무엇을 학습하고 어떻게 task를 수행하는지가 왜 바뀌었는지 설명하는 데 있다.
Check
PLM에서 LLM으로의 변화 중 이어지는 세 가지와 바뀌는 세 가지를 말하라.
Answer
공통은 self-supervised pretraining, Transformer backbone, reusable checkpoint다. 변화는 scale, prompting/ICL interface, post-training/deployment stack이다.
BERT는 작고 GPT-3는 크다는 설명만으로 L4 흐름을 충분히 설명할 수 있는가?
Answer
아니다. Task head fine-tuning에서 zero-shot text completion, ICL과 instruction model로 바뀐 사용 방식과 objective/system/ecosystem까지 연결해야 한다.
Word vectors에서 ICL interface까지 L4의 큰 흐름을 복원하라.
Answer
Word vectors → pretrained backbones의 feature/fine-tuning → 세 Transformer families → GPT1 labeled fine-tuning → GPT2 zero-shot completion → GPT3 scaled ICL → base/post-trained open-weight ecosystem.