Разработчик фреймворка локального ИИ OpenFox реализовал функцию под названием «спекулятивное предварительное заполнение кэша», которая обрабатывает системный промпт и массив инструментов во время ввода пользователем своего запроса. Эта оптимизация позволяет модели начать обработку статических контекстных данных до отправки самого промпта, что эффективно снижает задержку при запуске новой сессии.

  • Системный промпт (содержащий AGENTS.md и предпочтения) и массив инструментов обрабатываются в фоновом режиме во время набора текста.
  • Когда пользователь отправляет промпт, LLM необходимо обработать только оставшуюся часть текста запроса.
  • При скорости обработки 500 токенов в секунда этот метод экономит примерно от 10 до 20 секунд времени ожидания.

Это изменение делает взаимодействие с локальными LLM более отзывчивым и сокращает время простоя, обычно связанное с инициализацией новой сессии.