Sebuah bug di llama-server menyebabkan kueri pertama setelah proses restart membuang cache KV yang dihidrasi ulang dan melakukan prefill prompt penuh, membuat fitur simpan/pulihkan menjadi tidak berguna. Penyebab utamanya adalah metadata checkpoint tidak dipersistensikan ke disk, mencegah server untuk kembali ke posisi cache yang valid.
- Perbaikan ini mempersistensikan metadata checkpoint ke file sidecar bertingkat versi selama penyimpanan slot dan memuatnya kembali saat pemulihan.
- Ini memungkinkan server menggunakan ulang keadaan ter-cache untuk kueri delta alih-alih menghitung ulang.
- Benchmark menunjukkan percepatan ~720x untuk prefill delta dan ~167x resume end-to-end dibandingkan dengan prefill penuh.
- Patch ini tersedia sebagai PR #206 di fork llama-cpp-turboquant.
Perubahan ini memulihkan fungsionalitas yang dimaksud untuk konteks panjang pada perangkat keras anggaran rendah dengan memastikan keadaan ter-cache benar-benar digunakan setelah restart.