llama.cppプロジェクトはバージョンb10519をリリースし、サーバーのスリープ処理メカニズムの重要なリファクタリングが含まれています。この変更により、サーバーがスリープ状態にある間も/metricsエンドポイントへのアクセスが可能になります。
- on_sleeping_stateロジックのリファクタリングとメトリクスおよびスロットタスク/結果の分離。
- キャッシュされたレスポンスの追加とメトリクスタスクタイマーでの競合条件の修正。
- get_res_model_infoの修正とドキュメントの更新。
- macOS (Apple Silicon/Intel)、Linux (CPU、Vulkan、OpenVINO、SYCL)、Windows (CPU、CUDA 12/13、Vulkan、ROCm)、Android、およびopenEuler用のバイナリを提供。