JetBrains presentó Mellum 2, anunciando una latencia comparable a la de Qwen2.5-Coder 7B lograda mediante Multi-Token Prediction (MTP). Sin embargo, los archivos GGUF publicados no contienen capas que se asemejen a un cabezal MTP.

  • El código fuente pregunta cómo extraer los pesos de MTP directamente desde los archivos safetensors proporcionados.
  • Se proporcionan enlaces a un GGUF Q8_0 específico y al repositorio principal del modelo en Hugging Face.