Decoder-Based Text Embedding
Next-token generation을 위해 학습한 Decoder도 text vector를 만드는 backbone으로 사용할 수 있다. 다만 token을 이어 쓰는 출력과 문장 전체의 similarity를 나타내는 출력은 목적이 다르다. 따라서 어떤 tokens를 서로 보게 할지와 여러 token states를 하나의 vector로 어떻게 모을지를 새 task에 맞추어야 한다.
- Decoder backbone
- visibility / pooling 선택
- Contrastive tuning
- Text vector
Mask & Pooling
NV-Embed-v1은 Mistral-7B의 Causal Mask를 제거해 모든 token이 전체 text를 볼 수 있게 한다. Generation에서는 미래 정답을 가리는 제약이 필요하지만, 여기서는 이미 주어진 text 전체를 encode하므로 같은 제약을 유지해야 할 이유가 달라진다. 이후 latent-attention pooling으로 token states를 모으고, retrieval → mixed tasks 순서의 2-stage contrastive tuning을 한다.
Mean pooling은 모든 state를 같은 비중으로 평균낸다. 반면 슬라이드의 latent-attention pooling은 learned queries가 token states를 읽도록 하여 task에 중요한 정보를 다르게 가중할 수 있게 한다. 교수님이 설명한 직관은 덜 중요한 단어와 content words를 모두 동일하게 더하지 않는 데 있다. 이 구조가 모든 Embedding model의 필수 조건이라는 뜻은 아니다.
Qwen3-Embedding은 Causal Decoder와 last-token pooling을 유지한다. 소개된 크기는 0.6B / 4B / 8B다. 두 경로 모두 보통 query 쪽에 “Instruct: retrieve passages that answer the question. Query: …” 같은 task instruction을 받을 수 있다. Mask 하나만 바꾸면 좋은 Embedder가 되는 것이 아니라 pooling, objective, negatives, data, instruction을 함께 보아야 한다.
Evaluation Conditions
MTEB v1 56tasks의 69.32와 Multilingual131tasks70.58, Code12tasks80.68은 task·metric·집계가 달라 직접 우열 비교할 수 없다. Decoder backbone이라는 이유만으로 더 우수한 구조라고 결론내리지 않는다.
Reading the Benchmark
NV-Embed-v1의 69.32는 2024년 5월 MTEB v1 56 tasks 결과이며 당시 1위로 소개되었다. Qwen3-Embedding-8B의 70.58은 2025년 6월 MTEB Multilingual 131 tasks, 80.68은 MTEB Code 12 retrieval tasks다. 숫자가 더 크다고 같은 시험에서 더 잘한 것처럼 비교할 수 없다.
사용 목적이 multilingual retrieval인지 code retrieval인지부터 정하고 해당 task set과 metric을 보아야 한다. 교수님도 leaderboard의 board 이름을 먼저 확인하라고 강조했다. 이 결과는 Decoder backbone의 사용 가능성을 보여 주지만, architecture만으로 우수성이 보장된다는 비교는 아니다.
Check
Decoder Embedder라면 반드시 causal mask를 제거하는가?
Answer
아니다. 강의에서 NV-Embed는 제거하고 Qwen3-Embedding은 유지하는 두 경로를 비교한다. Pooling과 contrastive objective도 함께 봐야 한다.
69.32,70.58,80.68 숫자만으로 Embedding 모델 순위를 정할 수 없는 이유는?
Answer
MTEB board의 언어·task 집합·metric·aggregation이 다르다. 같은 benchmark 조건인지 먼저 확인해야 한다.