llama.cppプロジェクトはバージョンb9923をリリースしました。これは、Server-Sent Events (SSE) リプレイバッファに関連する問題を解決するために、server-stream コンポーネントの大幅なリファクタリングを特徴としています。このアップデートでは、pimpl パターンを導入し、パブリックなストリーム関数を `server_stream_` プレフィックスの下にスコープ化することで、コードの整理を図っています。

  • セッションとマネージャーの状態はミューテックスで保護され、condvar の述語はロックの下で設定されますが、キャンセルされたフラグはロックフリーのポーリングのためにアトミックなまま維持されます。
  • コメントは、並行性、ライフタイム、順序付けの理由に焦点を当てて簡素化され、単にコードを繰り返すだけのコメントは削除されました。
  • ストリームトレースはデバッグレベルに移動され、起動時の診断中にデフォルトのログノイズを削減しました。
  • `stream_read_status` 列挙型は、pimpl の境界内に留まるために .cpp ファイル内に移動されました。

今回のリリースには、macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP)、および openEuler 用のバイナリが含まれています。