El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Tencent Hunyuan 3 (HYV3ForCausalLM), designada como hy_v3 en formato GGUF. Esta actualización permite a los usuarios ejecutar esta pila de decodificador MoE específica dentro de la biblioteca.
- Añade soporte completo para la arquitectura hy_v3, incluyendo per-head Q/K RMSNorm y un enrutador sigmoide con sesgo de selección de experto.
- Implementa un experto compartido siempre activo sin puerta y bloques densos principales mediante first_k_dense_replace.
- Portado desde el fork de charlie12345 y adaptado a las APIs actuales de la rama principal para compatibilidad con los GGUFs hy_v3 existentes.
Este cambio permite a la comunidad utilizar modelos Tencent Hunyuan 3 en varias plataformas, incluyendo macOS, Linux, Windows y Android, en diversos backends de hardware como CUDA, ROCm y Vulkan.