В репозиторий llama.cpp был слит (merged) pull request, добавляющий поддержку недавно выпущенной модели Hy3, что позволяет пользователям запускать её в форматах GGUF.

  • Реализация доступна в PR #25395 в репозитории ggml-org/llama.cpp.
  • Ранние тесты показывают связный вывод от моделей с квантованием Q2_K, работающих со скоростью около 10–11 токенов в секунду на RTX 5090 с архитектурой Zen 4 и 96 ГБ DDR5.
  • GGUF-чекпоинты для Hy3 доступны через репозиторий Hugging Face, поддерживаемый пользователем satgeze.

Это обновление позволяет пользователям локально запускать модель Hy3 с помощью движка вывода llama.cpp.