Исследователи предлагают метод спекулятивного выполнения для агентов LLM, который оснащает спекулятора тремя онлайн-системами памяти для обучения на прошлых траекториях, устраняя ограничение существующих безпамятных спекуляторов. Подход использует контрастную таблицу переходов, эпизодическую память и трекер путаницы для улучшения качества предсказаний со временем.
- Спекуляция с усилением памяти дает относительное улучшение точности на 19--39% в бенчмарках предсказания действий.
- В задачах предсказания наблюдений производительность увеличивается до 2.5x при повторяющихся пространствах действий.
- Приросты растут непрерывно по мере накопления памяти и обобщаются для спекуляторов различных моделей с разным уровнем затрат.
- Все этапы спекуляции происходят во время простоя, что приводит к нулевым дополнительным затратам реального времени и идентичным траекториям актора.
Этот метод обеспечивает безпотерьное ускорение для агентов LLM за счет использования исторических данных для повышения точности предсказаний без влияния на скорость выполнения или корректность.