llama.cpp ने MTP स्पेकुलेटिव डिकोडिंग के साथ Hy3 समर्थन जोड़ा

ggml-org/llama.cpp रिपॉजिटरी में सबमिट किया गया एक पुल रिक्वेस्ट Tencent के Hy3 मॉडल, विशेष रूप से hy_v3 वेरिएंट के लिए समर्थन पेश करता है। यह अपडेट मॉडल के multi-token-prediction head को draft-mtp स्पेकुलेटिव टारगेट के रूप में उपयोग करने की सुविधा देता है।

• Tencent के Hy3 (hy_v3 / HYV3ForCausalLM) के लिए समर्थन जोड़ता है, जिसमें 80 परतों और एक MTP परत सहित 299B MoE मॉडल है।
• llama.cpp के भीतर draft-mtp स्पेकुलेटिव डिकोडिंग टारगेट के रूप में कार्य करने के लिए multi-token-prediction head को लागू करता है।