Open-Weight Models
GPT-3처럼 큰 모델을 매번 serving하는 데에는 비용이 든다. LLaMA의 출발점은 parameters를 계속 키우기만 하는 대신, 상대적으로 작은 모델에 더 많은 training tokens를 사용해 inference 비용을 낮추자는 관점이다. Pre-training 때 더 많은 계산을 쓰는 선택과, 배포 후 매 요청의 계산을 줄이는 선택을 구분해야 한다.
More Training, Cheaper Inference
LLaMA는 2023년 2월 public data로 학습하고, gated noncommercial research weights로 출발했다. 강의는 13B가 GPT-3 175B보다 most reported benchmarks에서 높았다는 결과를 소개한다. 작은 parameter 수가 곧 낮은 성능이라는 관계를 깨뜨린 사례지만, 모든 task에서 항상 우월했다는 뜻은 아니다.
교수님은 Chinchilla의 model size와 training tokens를 함께 늘리는 관점도 연결했다. 70B 모델에 약 1.4T tokens, 즉 parameter당 약 20 tokens라는 비교는 당시 training-compute 배분을 설명하는 사례다. LLaMA의 목표는 그 비교와 별개로 반복적인 inference 비용까지 고려하여 작은 모델을 더 오래 학습하는 데 있다. Training 효율의 기준과 serving 효율의 기준이 같다고 가정해서는 안 된다.
Weights가 퍼진 뒤에는 Alpaca와 Vicuna 같은 community fine-tunes가 확산되었다. 교수님은 Alpaca의 synthetic instruction data와 낮은 adaptation 비용, Vicuna의 대화 data 및 output preference 중심 평가를 비교했다. 강의에서 언급한 Alpaca의 약 $600 비용 주장은 이미 학습된 backbone을 활용한 adaptation의 맥락이며, foundation model 전체를 그 비용으로 pre-training했다는 뜻이 아니다. 공개 checkpoint 위에 어떤 data와 평가를 더하느냐가 별도의 연구 축이 된 것이다.
Llama 2는 2023년 7월 custom Community License에 따른 commercial use로, Llama 3.1은 2024년 7월 405B dense 모델로 이어진다. 공개 범위와 license가 release마다 달라지므로 “Llama”라는 계열 이름만으로 사용 조건을 정할 수 없다.
Active Compute and Memory
앞 강의의 GQA, Sliding-Window Attention, MoE는 이런 효율 추구가 실제 architecture에 반영된 예다. GQA는 K/V 공유를, Sliding Window는 읽는 context 범위를, MoE는 token마다 활성화하는 Expert를 바꾼다. 서로 다른 비용을 줄이는 장치이므로 하나의 “작은 모델”이라는 말로 묶지 않는다.
| Model | Date | Reported architecture / size |
|---|---|---|
| Mistral 7B | 2023.9 | GQA + Sliding-Window Attention; evaluated benchmarks에서 Llama 2 13B를 앞섬 |
| Mixtral 8×7B | 2023.12 | 약 47B total, 13B active per token; token마다 두 Experts |
| gpt-oss 120B / 20B | 2025.8 | 실제 117B / 21B total, 5.1B / 3.6B active |
Mixtral의 total parameters와 active parameters는 저장해야 할 weights와 token 하나를 처리할 때 사용하는 weights를 구분한다. gpt-oss의 120B/20B라는 이름도 exact count와 동일하지 않다. Model 이름, total size, active compute를 각각 확인해야 한다.
Open Weights and Release Terms
다음은 현재 계약 조건을 새로 판정한 표가 아니라 2026-03-17 강의 slide의 release별 snapshot이다.
| Organization | Example releases | Slide’s license terms |
|---|---|---|
| Meta | Llama 2, 3, 4 | Custom Community Licenses |
| Mistral AI | Mistral 7B, Mixtral 8×7B | 해당 releases는 Apache 2.0 |
| Alibaba / Qwen | Qwen 2, Qwen 3.x | Named releases는 Apache 2.0 |
| DeepSeek | V3, R1, R1-Distill | Model- and base-specific terms |
| OpenAI | gpt-oss 120B / 20B | Apache 2.0 |
Weights를 받을 수 있다는 사실과 모든 조건에서 같은 방식으로 사용할 수 있다는 사실은 다르다. Open weights를 모든 조건의 open-source와 동일시하지 않고, 사용하려는 release의 license를 확인한다.
강의의 Hub signals도 platform metric으로 읽는다. 이전 1년 Hugging Face downloads의 41%가 China-developed models였고, mid-2025 Qwen derivatives가 113K+라는 기록이다. Download 비중은 전체 모델의 품질 비중이 아니며, derivative 수는 task 성능 점수가 아니다. 한국 K-AI Foundation Model의 2025년 7월 참여 기관으로는 Naver Cloud, Upstage, SK Telecom, NC AI, LG AI Research와 Motif가 제시된다. 이런 기록은 공개 weights가 downstream adaptation과 배포 생태계로 이어지는 흐름을 보여준다.
Check
LLaMA의 작은 model+많은 training tokens 관점은 운영 비용에서 어떤 의미인가?
Answer
더 큰 pretraining 투자로 작은 model이 같은 수준의 task를 수행하면 반복 inference 비용을 낮출 수 있다는 관점이다.
Mixtral/gpt-oss model 이름을 active parameters나 exact counts로 읽으면 왜 위험한가?
Answer
Total/active가 다르고 이름은 rounded label일 수 있다. 저장할 weights와 token별 계산량을 각각 확인해야 한다.