llama.cpp プロジェクトはバージョン b10313 をリリースし、サーバー コンポーネントに Least Recently Used (LRU) スケジューラーを導入しました。このアップデートには、リクエストの結合処理とストリーミング ケースの修正が含まれます。
- サーバーは接続を管理するための LRU スケジューラーをサポートするようになりました。
- 待機キューからの退出を処理するためにリクエスト結合ロジックが実装されました。
- 新しいスケジューリング動作を検証するためのテストが追加されました。
- ストリーミング ケースに影響を与えるバグが修正されました。
このリリースでは、CPU、CUDA、Vulkan、ROCm、OpenVINO を含むさまざまなハードウェア バックエンド向けに、macOS、Linux、Windows、Android、iOS 用の更新されたバイナリが提供されます。