Um usuário está solicitando assistência com a otimização da configuração de cache KV no llama-server para mitigar longos tempos de prefill ao executar modelos grandes como Qwen 3.5 122B em um sistema Strix Halo.
- O usuário configurou --cache-ram 16384, --ctx-checkpoints 72 e --checkpoint-min-step 4096 para gerenciar VRAM e janelas de contexto.
- Uma falha completa no cache com 100k de contexto resulta em aproximadamente 10-20 minutos de tempo de prefill, o que é considerado extremamente problemático.
- Os checkpoints às vezes são perdidos após os prompts do usuário, particularmente em fluxos de trabalho agênticos como Crush coding agent ou Codex.
- Checkpoints mais antigos parecem desaparecer com o tempo, deixando apenas alguns checkpoints de contexto ativos e causando reprocesamento durante falhas maiores.
- O usuário está considerando a quantização K/V (por exemplo, q8) para potencialmente dobrar o número de checkpoints disponíveis, mas questiona seu impacto na qualidade para modelos já em q4.
O usuário espera feedback da comunidade sobre o ajuste fino das configurações de cache e a resolução de problemas de falha de checkpoints para melhorar o desempenho durante iterações agênticas rápidas.