Un bug dans llama-server entraîne la suppression des caches KV réhydratés et un pré-remplissage complet du prompt lors de la première requête après un redémarrage, rendant inutile la fonctionnalité de sauvegarde/restauration. La cause racine est que les métadonnées du checkpoint n'étaient pas persistées sur le disque, empêchant le serveur de revenir à des positions de cache valides.
- La correction persiste les métadonnées du checkpoint dans un fichier sidecar versionné lors de la sauvegarde du slot et les recharge lors de la restauration.
- Cela permet au serveur de réutiliser les états mis en cache pour les requêtes delta au lieu de les recalculer.
- Les benchmarks montrent une accélération d'environ 720x pour le pré-remplissage delta et d'environ 167x pour la reprise de bout en bout par rapport au pré-remplissage complet.
- Le correctif est disponible en tant que PR #206 dans le fork llama-cpp-turboquant.
Ce changement restaure la fonctionnalité prévue du travail sur des contextes longs sur du matériel à petit budget en s'assurant que les états mis en cache sont réellement utilisés après un redémarrage.