한 레딧 사용자는 자기회귀적 생성의 지연 시간을 감수하지 않고 멀티 토큰 예측(MTP)이 생성된 토큰을 어떻게 효율적으로 검증하는지 묻고 있습니다. 작성자는 모델의 마지막 레이어가 해당 단계에서 이용 가능한 정보만을 사용하여 N개의 예측된 토큰의 정확성을 어떻게 확인할 수 있는지 혼란스러워합니다.
- 사용자는 MTP 헤드가 올바른 "blue" 대신 "green"을 예측하는 시나리오를 설명하며, 이 오류가 어떻게 빠르게 감지되는지 의문을 제기합니다.
- 표준 prefill은 캐시를 채우지만, 각 토큰을 전체 모델 깊이에 통과시키지 않고 검증이 어떻게 이루어지는지는 불분명합니다.
- 인용된 설명에서는 인과적 주의 마스크(causal attention mask)를 사용하여 한 번에 하나의 토큰만 prefill하고 N개의 토큰 각각에 대해 출력 임베딩을 검증할 것을 제안합니다.
- 사용자는 이전 레이어에서 충분한 컨텍스트가 없는 디코더 전용 LLM이 MTP 헤드가 수행한 작업을 어떻게 판단할 수 있는지 반문합니다.
이 게시물은 디코더 전용 아키텍처에서 MTP 검증의 기술적 구현에 대한 지속적인 혼란을 강조합니다.