Исследователи представляют MemCon, фреймворк, который моделирует операции памяти как процесс принятия марковских решений (MDP) для обучения онлайн-политики адаптивного извлечения и консолидации в агентах LLM. В отличие от статических эвристик, этот подход динамически решает, когда и сколько извлекать на основе контекста.

  • MemCon оборачивает любую существующую реализацию памяти и обучается на бинарной обратной связи задача за задачей без предварительного обучения или дополнительных вызовов LLM.
  • Он использует легковесный табличный контекстный бандит с исследованием UCB, который сходится в пределах десятков задач.
  • На 6 бенчмарках, 3 фреймворках агентов и 3 основах LLM MemCon превосходит базовые методы до 15.2 баллов по успешности выполнения задачи.
  • Метод снижает потребление токенов на 5--20% при одновременном улучшении производительности.

MemCon решает проблему узкого места фиксированного доступа к памяти, позволяя агентам адаптивно управлять накоплением опыта и планированием повторного использования.