Le projet llama.cpp a ajouté la prise en charge de l'architecture du modèle Tencent Hunyuan 3 (HYV3ForCausalLM), désignée sous hy_v3 dans le format GGUF. Cette mise à jour permet aux utilisateurs d'exécuter cette pile de décodeur MoE spécifique au sein de la bibliothèque.

  • Ajoute un support complet de l'architecture hy_v3, y compris la RMSNorm par tête pour Q/K et un routeur sigmoïde avec biais de sélection d'expert.
  • Implémente un expert partagé toujours actif non ouvert (ungated) et des blocs denses principaux via first_k_dense_replace.
  • Porté depuis le fork de charlie12345 et adapté aux API principales actuelles pour la compatibilité avec les GGUF hy_v3 existants.

Ce changement permet à la communauté d'utiliser les modèles Tencent Hunyuan 3 sur diverses plateformes, y compris macOS, Linux, Windows et Android, sur des backends matériels divers tels que CUDA, ROCm et Vulkan.