Une demande de tirage a été fusionnée dans llama.cpp pour ajouter le support du modèle Hy3 nouvellement publié, permettant aux utilisateurs de l'exécuter au format GGUF.
- L'implémentation est disponible dans la PR #25395 sur le dépôt ggml-org/llama.cpp.
- Les premiers tests indiquent une sortie cohérente des modèles quantifiés Q2_K s'exécutant à environ 10-11 tokens par seconde sur un RTX 5090 avec architecture Zen 4 et 96 Go de DDR5.
- Les points de contrôle GGUF pour Hy3 sont disponibles via le dépôt Hugging Face maintenu par satgeze.
Cette mise à jour permet aux utilisateurs d'exécuter localement le modèle Hy3 en utilisant le moteur d'inférence de llama.cpp.