Une demande de tirage soumise au dépôt ggml-org/llama.cpp introduit le support pour le modèle Hy3 de Tencent, spécifiquement la variante hy_v3. Cette mise à jour permet d'utiliser la tête de prédiction multi-jeton du modèle comme cible de décodage spéculatif draft-mtp.
- Ajoute le support pour Hy3 de Tencent (hy_v3 / HYV3ForCausalLM), un modèle MoE de 299B avec 80 couches plus une couche MTP.
- Implémente la tête de prédiction multi-jeton pour fonctionner comme cible de décodage spéculatif draft-mtp au sein de llama.cpp.