Un usuario está solicitando asistencia para optimizar la configuración del caché KV en llama-server con el fin de mitigar los largos tiempos de prellenado al ejecutar modelos grandes como Qwen 3.5 122B en un sistema Strix Halo.
- El usuario ha configurado --cache-ram 16384, --ctx-checkpoints 72 y --checkpoint-min-step 4096 para gestionar la VRAM y las ventanas de contexto.
- Un fallo completo del caché con un contexto de 100k resulta en aproximadamente 10-20 minutos de tiempo de prellenado, lo cual se considera extremadamente problemático.
- Los puntos de control a veces se pierden después de los prompts del usuario, particularmente en flujos de trabajo agénticos como Crush coding agent o Codex.
- Los puntos de control más antiguos parecen desaparecer con el tiempo, dejando solo unos pocos puntos de control de contexto activos y causando reprocesamiento durante fallos mayores.
- El usuario está considerando la cuantización K/V (por ejemplo, q8) para potencialmente duplicar el número de puntos de control disponibles, pero cuestiona su impacto en la calidad para modelos ya en q4.
El usuario espera comentarios de la comunidad sobre el ajuste fino de la configuración del caché y la resolución de los problemas de fallos de puntos de control para mejorar el rendimiento durante las iteraciones agénticas rápidas.