Un error en llama-server hace que la primera consulta después de un reinicio del proceso elimine las cachés KV rehidratadas y realice una reprefilización completa del prompt, inutilizando la función de guardar/restaurar. La causa raíz es que los metadatos del punto de control no se persistían en el disco, impidiendo que el servidor volviera a posiciones de caché válidas.
- La corrección persiste los metadatos del punto de control en un archivo sidecar versionado durante el guardado y recarga del slot, y lo recarga durante la restauración.
- Esto permite al servidor reutilizar los estados en caché para consultas delta en lugar de recomputarlos.
- Los benchmarks muestran una aceleración de ~720x para la reprefilización delta y ~167x para la reanudación end-to-end en comparación con la reprefilización completa.
- El parche está disponible como PR #206 en el fork llama-cpp-turboquant.
Este cambio restaura la funcionalidad prevista del trabajo de contexto largo en hardware económico al garantizar que los estados en caché se utilicen realmente después de un reinicio.