JetBrains a introduit Mellum 2, annonçant une latence comparable à celle de Qwen2.5-Coder 7B obtenue grâce à la Prédiction Multi-Jeton (MTP). Cependant, les fichiers GGUF publiés ne contiennent pas de couches ressemblant à une tête MTP.

  • La source s'interroge sur la façon d'extraire directement les poids MTP à partir des fichiers safetensors fournis.
  • Des liens sont fournis vers un GGUF Q8_0 spécifique et le dépôt principal du modèle sur Hugging Face.