JetBrains ने Mellum 2 को पेश किया, जिसमें Multi-Token Prediction (MTP) के माध्यम से प्राप्त Qwen2.5-Coder 7B के समान लेटेंसी का विज्ञापन दिया गया है। हालांकि, प्रकाशित GGUF फ़ाइलों में MTP हेड जैसी परतें नहीं हैं।
- स्रोत यह पूछता है कि दिए गए safetensors फ़ाइलों से MTP वजन को कैसे निकाला जाए।
- एक विशिष्ट Q8_0 GGUF और Hugging Face पर मुख्य मॉडल रिपॉजिटरी के लिए लिंक प्रदान किए गए हैं।