A JetBrains apresentou a Mellum 2, anunciando latência comparável à do Qwen2.5-Coder 7B alcançada por meio de Multi-Token Prediction (MTP). No entanto, os arquivos GGUF publicados não contêm camadas que se assemelhem a uma cabeça MTP.

  • O código-fonte questiona como extrair os pesos do MTP diretamente dos arquivos safetensors fornecidos.
  • Links são fornecidos para um GGUF Q8_0 específico e para o repositório principal do modelo no Hugging Face.