STUDYLLM
‹ Lecture 2 14 / 23

Any-to-Any Models

Text는 이미 discrete characters에서 출발하지만 image와 audio는 곧바로 text Token IDs로 바꿀 수 없다. 먼저 encoder가 연속적인 features를 만들고, codebook의 대표 vectors 중 가까운 항목으로 이 features를 나타낸다. 이렇게 얻은 discrete code IDs를 모델의 입력·출력 공간에 연결하면 서로 다른 modality를 token sequence처럼 다룰 수 있다. ID는 객체 이름이 아니라 learned signal pattern의 주소다.

  1. Image / Audio
  2. Encoder features
  3. nearest codebook vectors
  4. code IDs
  5. vocab IDs
  6. Embedding

Codebook IDs

Codebook은 대표 vector의 학습된 사전이다. Image encoder의 32features→8192-entry codebook, audio1second의 50features→1024-entry codebook은 예시 수치다. text32,000+image8,192+audio1,024의 shared Vocabulary에서 offset을 통해 ID를 정한다.

슬라이드에서 입력 feature z=[0.18,0.77]z=[0.18,0.77]은 Code 3의 [0.90,0.10], Code 7의 [0.20,0.80], Code 9의 [0.10,0.20] 중 Code 7에 가장 가깝다. 저장하는 값은 이 대표 vector의 ID 7이다. 이러한 Vector Quantization으로 신호를 제한된 codebook에 대응시킨다.

Shared Vocabulary 예시의 배치는 다음과 같다.

ModalityRowsVocabulary IDs
Text32,0000–31,999
Image8,19232,000–40,191
Audio1,02440,192–41,215

Image code 7은 offset을 더해 32,007, code 512는 32,512가 된다. Audio code 12는 40,204, code 88은 40,280이다. 이 배치는 강의 예시이며 모든 Any-to-Any model이 같은 code 수나 ID 범위를 쓰는 것은 아니다.

반대 방향에서는 ID → code vector → decoder → signal로 복원한다. Codebook도 학습되며, 해당 ID가 빨간색이나 고양이라는 고정 label을 의미하지 않는다. Encoder와 codebook이 신호의 어떤 특징을 남기도록 학습되었는지가 중요하다.

Reconstruction & Semantic Alignment

NExT-OMNI는 Reconstruction으로 픽셀·형태·handle 같은 detail을 보존하고 Semantic alignment로 paired text와 의미를 맞춘다. Reconstruction만 있으면 cup이라는 의미가 약할 수 있고 alignment만 있으면 red/handle detail을 잃을 수 있다. Vision/audio는 별도 codebook을 사용한다.

AnyGPT처럼 Vocabulary를 확장해 한 LM head로 여러 modality의 IDs를 다루는 설계와, NExT-OMNI처럼 modality별 projection heads를 쓰는 설계를 구분해야 한다. 같은 token 형식으로 넣었다고 text·image·audio의 의미가 저절로 잘 align되는 것은 아니다.

빨간 컵을 예로 들면 Reconstruction은 원래의 색·형태·손잡이를 다시 그릴 수 있는지를 요구한다. 반면 Semantic alignment는 paired text인 “A red cup on a table.”과 의미를 연결한다. 교수님은 red를 green으로 바꾼 설명처럼 가까워 보여도 다른 쌍을 구분하는 contrastive 학습의 직관도 설명했다.

Reconstruction만 잘하면 세부 pixels를 보존하고도 컵이라는 의미 연결이 약할 수 있다. 반대로 의미만 강하게 맞추면 컵이라는 범주는 알지만 손잡이나 색 같은 detail을 잃을 수 있다. 압축에서 남길 information을 두 목표가 서로 보완하도록 조정하는 것이 핵심이며, vision과 audio의 codebooks는 별도로 사용한다.

Check

Codebook ID7을 red라는 색 이름이라고 해석할 수 없는 이유는?

Answer

ID는 learned representative vector를 가리킨다. Codebook과 decoder가 신호를 복원하며 ID숫자 자체가 사람이 지정한 의미 class는 아니다.

Reconstruction과 Semantic alignment 중 하나만 사용하면 무엇을 놓칠 수 있는가?

Answer

전자는 detail을 살리지만 text 의미 연결이 약할 수 있고, 후자는 의미를 알면서 원신호 detail을 잃을 수 있다. 두 목표의 균형이 필요하다.

Contents