llama.cppプロジェクトはバージョンb9927をリリースし、コマンドラインインターフェースをHTTPベースの実装に移行する大幅な更新を含んでいます。この変更により、CLI内でルーターモードのサポートが導入されました。

  • CLIは現在、以前の手法の代わりにHTTPベースのバックエンドを利用しています。
  • 新しいCLI実装でルーターモードがサポートされています。
  • モデルエイリアスがインターフェースに表示されるようになりました。
  • macOS（Apple SiliconとIntel）、Linux、Android、Windows、openEuler用のビルド済みバイナリが利用可能です。
  • GPUアクセラレーションのオプションには、対応プラットフォーム上でCUDA 12/13、Vulkan、ROCm、OpenCL、SYCL、OpenVINOが含まれます。

このリリースでは、CLIツールリングのアーキテクチャシフトに加え、さまざまなオペレーティングシステムとハードウェア構成向けの更新されたバイナリが提供されています。