Microsoft Research представила EvoLib, фреймворк, который позволяет большим языковым моделям учиться на собственном опыте во время вывода без необходимости в метках ground-truth или внешней обратной связи. Вместо хранения сырого опыта в виде статической памяти EvoLib преобразует его в повторно используемые навыки и рефлексивные инсайты, которые постоянно уточняются, консолидируются и переобновляются.
- Консолидация объединяет новые знания с похожими существующими записями для создания более общих и повторно используемых единиц.
- Динамический механизм взвешивания обновляет важность каждой единицы знаний на основе её непосредственной полезности и долгосрочного влияния на будущие задачи.
- Система работает как решение типа black-box, применимое к любой языковой модели, развёрнутой через API, без необходимости обновления модели.
EvoLib последовательно превосходит лучшие подходы памяти на основе поиска в задачах математического рассуждения, генерации кода и принятия решений с длинным горизонтом. Она преобразует вычисления во время тестирования в прирост производительности более эффективно, чем существующие методы, и поддерживает стабильную производительность независимо от порядка, в котором встречаются гетерогенные задачи.