Seorang pengguna meminta bantuan untuk mengoptimalkan konfigurasi cache KV di llama-server guna mengurangi waktu prefill yang panjang saat menjalankan model besar seperti Qwen 3.5 122B pada sistem Strix Halo.
- Pengguna telah mengonfigurasi --cache-ram 16384, --ctx-checkpoints 72, dan --checkpoint-min-step 4096 untuk mengelola VRAM dan jendela konteks.
- Cache miss penuh pada konteks 100k menghasilkan waktu prefill sekitar 10-20 menit, yang dianggap sangat bermasalah.
- Checkpoint kadang-kadang terlewat setelah prompt pengguna, terutama dengan alur kerja agentic seperti Crush coding agent atau Codex.
- Checkpoint lama tampaknya menghilang seiring waktu, menyisakan hanya beberapa checkpoint konteks aktif dan menyebabkan pemrosesan ulang saat miss lebih besar.
- Pengguna mempertimbangkan kuantisasi K/V (misalnya, q8) untuk berpotensi menggandakan jumlah checkpoint yang tersedia tetapi mempertanyakan dampaknya terhadap kualitas untuk model yang sudah dalam q4.
Pengguna berharap mendapatkan masukan dari komunitas tentang penyetelan cache halus dan menyelesaikan masalah miss checkpoint untuk meningkatkan kinerja selama iterasi agentic cepat.