El proyecto llama.cpp lanzó la versión b9908, que introduce un límite estricto para el uso de RAM de la caché de prompts del servidor. Anteriormente, la caché podía exceder temporalmente los límites especificados al retener entradas durante las operaciones de guardado.
- La bandera --cache-ram ahora previene estrictamente guardar el estado si excede el límite de RAM.
- Las entradas antiguas de la caché se eliminan según sea necesario para hacer espacio para las nuevas.
- La limpieza por límite de tokens ahora puede eliminar la última entrada restante en lugar de preservar una.
- El soporte para macOS Apple Silicon KleidiAI está desactivado en esta versión.
Este cambio asegura que la caché de prompts respete más fiablemente las restricciones de memoria, previniendo desbordamientos temporales.