llama.cppに、新たにリリースされたHy3モデルのサポートを追加するプルリクエストがマージされました。これにより、ユーザーはGGUF形式を使用してこのモデルを実行できるようになります。

  • 実装はggml-org/llama.cppリポジトリのPR #25395で利用可能です。
  • 初期テストでは、Zen 4アーキテクチャと96GB DDR5を搭載したRTX 5090上でQ2_K量子化モデルが約10〜11トークン/秒の速度で一貫性のある出力を示しています。
  • Hy3のGGUFチェックポイントは、satgezeが管理するHugging Faceリポジトリから入手できます。

このアップデートにより、ユーザーはllama.cppの推論エンジンを使用してHy3モデルをローカルで実行できるようになります。