Пользователь запрашивает помощь в оптимизации конфигурации KV-кэша в llama-server для сокращения длительных времен префилла при запуске больших моделей, таких как Qwen 3.5 122B, на системе Strix Halo.
- Пользователь настроил --cache-ram 16384, --ctx-checkpoints 72 и --checkpoint-min-step 4096 для управления VRAM и окнами контекста.
- Полный промах кэша при контексте в 100k приводит примерно к 10–20 минутам времени префилла, что считается крайне проблематичным.
- Контрольные точки иногда пропускаются после пользовательских запросов, особенно в агентных рабочих процессах, таких как Crush coding agent или Codex.
- Старые контрольные точки, по-видимому, исчезают со временем, оставляя лишь несколько активных контекстных контрольных точек и вызывая повторную обработку при больших промахах.
- Пользователь рассматривает квантование K/V (например, q8), чтобы потенциально удвоить количество доступных контрольных точек, но сомневается в его влиянии на качество для моделей, уже находящихся в q4.
Пользователь надеется получить отзывы сообщества по тонкой настройке настроек кэша и решению проблем с промахами контрольных точек для улучшения производительности при быстрых агентных итерациях.