llama.cpp प्रोजेक्ट ने Tencent Hunyuan 3 (HYV3ForCausalLM) मॉडल आर्किटेक्चर के लिए समर्थन जोड़ा है, जिसे GGUF फॉर्मेट में hy_v3 के रूप में निर्दिष्ट किया गया है। इस अपडेट से उपयोगकर्ताओं को लाइब्रेरी के भीतर इस विशिष्ट MoE डिकोडर स्टैक को चलाने की सुविधा मिलती है।
- per-head Q/K RMSNorm और विशेषज्ञ चयन बायस के साथ एक सिगमॉइड रूटर सहित पूर्ण hy_v3 आर्किटेक्चर समर्थन जोड़ा गया।
- first_k_dense_replace के माध्यम से हमेशा सक्रिय अगेटेड शेयर्ड एक्सपर्ट और लीडिंग डेंस ब्लॉक लागू किए गए।
- charlie12345 के फोर्क से पोर्ट किया गया और मौजूदा hy_v3 GGUFs के साथ संगतता के लिए वर्तमान मेनलाइन APIs के अनुसार अनुकूलित किया गया।
इस बदलाव से समुदाय को macOS, Linux, Windows और Android सहित विभिन्न प्लेटफार्मों पर Tencent Hunyuan 3 मॉडल का उपयोग करने की सुविधा मिलती है, CUDA, ROCm और Vulkan जैसे विविध हार्डवेयर बैकएंड्स पर।