llama.cpp b9909が /responses APIストリームにタイミングと進行状況を追加

llama.cppプロジェクトは、/responses APIストリームにタイミングと進行状況の情報を導入したバージョンb9909をリリースしました。このアップデートは、macOS、Linux、Windows、Android、openEulerを含む複数のプラットフォームで利用可能です。

• 主な機能変更は、/responses APIエンドポイントのストリーミング出力にタイミングと進行状況の詳細を追加することです。
• Apple Silicon、Intel x64、ARM64、s390xなどのさまざまなアーキテクチャ向けにビルド済みバイナリが提供されています。
• GPUサポートにはCUDA 12.4および13.3、Vulkan、ROCm 7.2、OpenVINO、SYCL、HIPが含まれます。
• macOS Apple Silicon用のKleidiAIサポートは、今回のリリースで無効化されています。

このアップデートにより、ユーザーはAPIレスポンスの進行状況をより効果的に監視できるようになります。