llama.cpp プロジェクトはビルド b9971 をリリースしました。これには `server_stream` 機能のリファクタリングが含まれています。このアップデートは、スレッドセーフでない `rd.stop()` 呼び出しの削除と `server_res_spipe` の移動により、スレッド安全性を改善します。また、改善された API を反映するために開発者ドキュメントも更新されました。

  • `server_stream` をリファクタリングし、`server_http_res` から `spipe` を削除
  • スレッドセーフでない `rd.stop()` 呼び出しを削除し、`server_res_spipe` を移動
  • 改善された server-stream API のため、開発者ドキュメントを更新
  • macOS Apple Silicon (arm64, KleidiAI 有効) ビルドを無効化
  • CPU、GPU、AI アクセラレータバックエンド全体で、macOS、Linux、Android、Windows、openEuler 用のバイナリを提供

今回のリリースにより、サーバーストリーミングコンポーネントのスレッド安全性が確保されながら、広範なプラットフォームサポートが維持されています。