Um bug no llama-server faz com que a primeira consulta após uma reinicialização do processo descarte caches KV reidratados e realize um reprefill completo do prompt, inutilizando o recurso de salvar/restaurar. A causa raiz é que os metadados do checkpoint não eram persistidos no disco, impedindo o servidor de voltar para posições de cache válidas.
- A correção persiste os metadados do checkpoint em um arquivo sidecar versionado durante o salvamento e recarga do slot, e o recarrega durante a restauração.
- Isso permite que o servidor reutilize estados em cache para consultas delta em vez de recomputá-los.
- Os benchmarks mostram uma aceleração de ~720x para o reprefill delta e ~167x para a retomada end-to-end comparado ao reprefill completo.
- O patch está disponível como PR #206 no fork llama-cpp-turboquant.
Esta alteração restaura a funcionalidade pretendida do trabalho de contexto longo em hardware econômico, garantindo que os estados em cache sejam realmente utilizados após uma reinicialização.