JetBrains Mellum 2 mengklaim latensi rendah melalui MTP tetapi GGUF tidak memiliki kepala MTP yang terlihat

JetBrains memperkenalkan Mellum 2, mengiklankan latensi yang sebanding dengan Qwen2.5-Coder 7B yang dicapai melalui Prediksi Multi-Token (MTP). Namun, file GGUF yang dipublikasikan tidak berisi lapisan yang menyerupai kepala MTP.

• Sumber tersebut mempertanyakan cara mengekstrak bobot MTP secara langsung dari file safetensors yang disediakan.
• Tautan diberikan ke GGUF Q8_0 tertentu dan repositori model utama di Hugging Face.