Se ha fusionado un pull request en llama.cpp para añadir soporte al recién lanzado modelo Hy3, permitiendo a los usuarios ejecutarlo con formatos GGUF.
- La implementación está disponible en el PR #25395 del repositorio ggml-org/llama.cpp.
- Las pruebas iniciales indican una salida coherente de modelos cuantizados Q2_K ejecutándose a aproximadamente 10-11 tokens por segundo en una RTX 5090 con arquitectura Zen 4 y 96GB DDR5.
- Los checkpoints GGUF para Hy3 están disponibles a través del repositorio de Hugging Face mantenido por satgeze.
Esta actualización permite a los usuarios ejecutar localmente el modelo Hy3 utilizando el motor de inferencia de llama.cpp.