JetBrains Mellum 2는 MTP를 통해 낮은 지연 시간을 주장하지만 GGUF에는 눈에 보이는 MTP 헤드가 없음

JetBrains는 Mellum 2를 소개하며, Multi-Token Prediction (MTP)을 통해 달성된 Qwen2.5-Coder 7B와 비교할 수 있는 지연 시간을 광고하고 있습니다. 그러나 게시된 GGUF 파일에는 MTP 헤드를 연상시키는 레이어가 포함되어 있지 않습니다.

• 소스는 제공된 safetensors 파일에서 MTP 가중치를 직접 추출하는 방법에 대해 질문합니다.
• 특정 Q8_0 GGUF와 Hugging Face의 메인 모델 저장소로 가는 링크가 제공됩니다.