Se ha fusionado un pull request en llama.cpp para añadir soporte al recién lanzado modelo Hy3, permitiendo a los usuarios ejecutarlo con formatos GGUF.

  • La implementación está disponible en el PR #25395 del repositorio ggml-org/llama.cpp.
  • Las pruebas iniciales indican una salida coherente de modelos cuantizados Q2_K ejecutándose a aproximadamente 10-11 tokens por segundo en una RTX 5090 con arquitectura Zen 4 y 96GB DDR5.
  • Los checkpoints GGUF para Hy3 están disponibles a través del repositorio de Hugging Face mantenido por satgeze.

Esta actualización permite a los usuarios ejecutar localmente el modelo Hy3 utilizando el motor de inferencia de llama.cpp.