O projeto llama.cpp lançou a versão b9908, que introduz um limite rígido para o uso de RAM do cache de prompts do servidor. Anteriormente, o cache podia exceder temporariamente os limites especificados ao reter entradas durante operações de salvamento.
- A flag --cache-ram agora impede estritamente de salvar o estado se ele exceder o limite de RAM.
- Entradas antigas do cache são removidas conforme necessário para abrir espaço para as novas.
- A limpeza por limite de tokens agora pode remover a última entrada restante em vez de preservar uma.
- O suporte ao macOS Apple Silicon KleidiAI está desativado nesta versão.
Esta alteração garante que o cache de prompts respeite mais confiavelmente as restrições de memória, impedindo transbordos temporários.