Проект llama.cpp выпустил версию b9908, которая вводит жёсткое ограничение на использование оперативной памяти сервером для кэша промптов. Ранее кэш мог временно превышать указанные пределы, сохраняя записи во время операций сохранения.
- Флаг --cache-ram теперь строго предотвращает сохранение состояния, если оно превышает лимит RAM.
- Старые записи кэша удаляются по мере необходимости, чтобы освободить место для новых.
- Очистка по лимиту токенов теперь может удалять последнюю оставшуюся запись кэша вместо сохранения одной из них.
- Поддержка macOS Apple Silicon KleidiAI отключена в этом релизе.
Это изменение гарантирует, что кэш промптов более надёжно соблюдает ограничения памяти, предотвращая временные переполнения.