Ошибка в llama-server приводит к тому, что первый запрос после перезапуска процесса отбрасывает восстановленные KV-кэши и выполняет полное повторное префилирование промпта, делая функцию сохранения/восстановления бесполезной. Корневая причина заключается в том, что метаданные контрольной точки не сохранялись на диск, что препятствовало возврату сервера к корректным позициям кеша.
- Исправление сохраняет метаданные контрольной точки во версионированный файл-спутник при сохранении слота и загружает их при восстановлении.
- Это позволяет серверу повторно использовать кэшированные состояния для дельта-запросов вместо их пересчета.
- Бенчмарки показывают ускорение ~720x для дельта-префилирования и ~167x для сквозного возобновления по сравнению с полным повторным префилированием.
- Патч доступен как PR #206 в форке llama-cpp-turboquant.
Это изменение восстанавливает предполагаемую функциональность работы с длинным контекстом на бюджетном оборудовании, обеспечивая фактическое использование кэшированных состояний после перезапуска.