NoPE Model Cards
지금까지 배운 개념은 model card를 읽는 도구가 된다. Total/active parameters는 MoE의 저장 capacity와 token당 실행량을 구분하고, Query/KV heads는 Attention과 cache 구조를 나타낸다. NoPE는 explicit position encoding을 넣지 않는 선택이다. 각 항목을 독립적인 홍보 숫자로 보기보다 실제 계산의 어느 부분을 바꾸는지 연결해서 읽는다.
- Model card
- total / active 구분
- position / heads / experts 해석
- architecture 연결
Reading Model Cards
앞 section의 BOS 1/t 예시는 NoPE에서도 implicit position signal이 생길 수 있음을 보였다. 여기서는 그 가능성을 채택한 실제 model-card snapshot을 읽는다. 기술의 원리와 특정 모델의 configuration은 다른 층위이므로, 한 모델의 숫자를 NoPE의 정의로 외우지 않는다.
Solar Open 2는 250B total / 15B active, 48 layers, , Softmax+Linear hybrid [Softmax,Linear×3]×12, NoPE로 표시된다. Softmax 64 Query/8 KV, 321 experts(320 routed+1 shared), top-8 routed+1 shared, Vocab 196,608, context 1M, training≈12T, English/Korean/Japanese도 표에 있다.
Solar Open 2에서 250B total / 15B active는 매 token에 전체 250B를 모두 계산한다는 뜻이 아니다. 321 Experts 중 320 routed + 1 shared를 두고 top-8 routed + 1 shared를 사용하는 구조와 연결된다. 전체 weights의 저장 비용과 active compute를 나누어 보아야 한다.
48 layers와 [Softmax, Linear×3]×12는 네 layers의 pattern을 12회 반복한다는 뜻이다. Softmax Attention의 64 Query / 8 KV heads는 Query마다 독립 KV head를 두는 MHA와 달리 KV를 공유하는 GQA 선택을 나타낸다. NoPE는 position 방식, Softmax/Linear는 Attention 계산 방식이며 같은 항목이 아니다.
Vocabulary 196,608은 ID 종류 수, context 1M은 지원 position 수, training 약 12T는 학습 token량이다. 영어·한국어·일본어 지원 표기도 이 숫자들과 분리하여 읽는다. Kimi K3 발췌는 MLA layers에 NoPE를 적용한다는 보고이므로, 모델의 모든 layers가 같은 방식이라고 확대하지 않는다. 두 사례 모두 강의 자료 당시 snapshot이며 현재 제품 사양을 다시 안내하는 페이지가 아니다.
Check
250B-A15B 표기에서 두 수가 의미하는 것과 memory 관련 주의점은?
Answer
전체 weights 약 250B와 token당 활성 약 15B를 구분한다. Active만 저장하면 된다는 뜻은 아니다.
원 NoPE 페이지와 추가 model-card 페이지는 무엇을 각각 보충하는가?
Answer
원 페이지는 causal prefix/BOS 위치 신호 원리다. 추가 페이지는 NoPE/GQA/MoE를 실제 model-card 항목으로 해석하는 사례다.