Proyek llama.cpp merilis versi b9908, yang memperkenalkan batas keras untuk penggunaan RAM cache prompt server. Sebelumnya, cache dapat secara sementara melebihi batas yang ditentukan dengan menyimpan entri selama operasi penyimpanan.
- Flag --cache-ram sekarang secara ketat mencegah penyimpanan status jika melebihi batas RAM.
- Entri cache lama di-evict sesuai kebutuhan untuk memberi ruang bagi yang baru.
- Pembersihan batas token sekarang dapat meng-evict entri cache terakhir yang tersisa alih-alih mempertahankannya.
- Dukungan macOS Apple Silicon KleidiAI dinonaktifkan dalam rilis ini.
Perubahan ini memastikan bahwa cache prompt mematuhi kendala memori dengan lebih andal, mencegah overflow sementara.