Un utilisateur sollicite de l'aide pour optimiser la configuration du cache KV dans llama-server afin d'atténuer les longs temps de pré-remplissage lors de l'exécution de modèles volumineux comme Qwen 3.5 122B sur un système Strix Halo.
- L'utilisateur a configuré --cache-ram 16384, --ctx-checkpoints 72 et --checkpoint-min-step 4096 pour gérer la VRAM et les fenêtres de contexte.
- Un manque total de cache à 100k de contexte entraîne environ 10 à 20 minutes de temps de pré-remplissage, ce qui est considéré comme extrêmement problématique.
- Les points de contrôle sont parfois manquants après les invites utilisateur, particulièrement avec des flux de travail agents tels que Crush coding agent ou Codex.
- Les anciens points de contrôle semblent disparaître avec le temps, ne laissant que quelques points de contrôle de contexte actifs et provoquant un retraitement lors de manques plus importants.
- L'utilisateur envisage la quantification K/V (par ex., q8) pour potentiellement doubler le nombre de points de contrôle disponibles, mais s'interroge sur son impact sur la qualité pour des modèles déjà en q4.
L'utilisateur espère des contributions de la communauté sur l'affinage des paramètres du cache et la résolution des problèmes de manque de points de contrôle afin d'améliorer les performances lors d'itérations agents rapides.