Le projet llama.cpp a publié la version b9908, qui introduit une limite stricte pour l'utilisation de la RAM du cache des prompts par le serveur. Auparavant, le cache pouvait temporairement dépasser les limites spécifiées en conservant des entrées pendant les opérations de sauvegarde.
- Le drapeau --cache-ram empêche désormais strictement la sauvegarde de l'état si celui-ci dépasse la limite de RAM.
- Les anciennes entrées du cache sont évacuées si nécessaire pour faire de la place pour les nouvelles.
- Le nettoyage des limites de tokens peut désormais évacuer la dernière entrée restante du cache au lieu d'en préserver une.
- Le support KleidiAI pour macOS Apple Silicon est désactivé dans cette version.
Ce changement garantit que le cache des prompts respecte plus fiablement les contraintes mémoire, empêchant les débordements temporaires.