llama.cppプロジェクトはバージョンb9908をリリースし、サーバーのプロンプトキャッシュRAM使用量にハードリミットを導入しました。以前は、保存操作中にエントリを保持することで、キャッシュが一時的に指定された制限を超えていました。
- --cache-ramフラグは、RAM制限を超える場合に状態の保存を厳格に防止するようになりました。
- 新しいエントリのスペースを確保するため、必要に応じて古いキャッシュエントリが_evicted_されます。
- トークン制限のクリーンアップにより、以前は1つを残していた最後のキャッシュエントリも_evicted_されるようになりました。
- このリリースでは、macOS Apple SiliconのKleidiAIサポートが無効化されています。
この変更により、プロンプトキャッシュがメモリ制約をより確実に尊重し、一時的なオーバーフローを防ぐことが保証されます。