研究者らは、メモリ操作をマルコフ決定過程としてモデル化し、LLMエージェントにおける適応的取得と統合のためのオンラインポリシーを学習するフレームワーク「MemCon」を紹介している。静的なヒューリスティックとは異なり、このアプローチはコンテキストに基づいていつ、どの程度取得するかを動的に決定する。

  • MemConは既存のメモリ実装をラップし、事前学習や追加のLLM呼び出しなしでタスクごとのバイナリフィードバックから学習する。
  • 数十のタスク内で収束する、UCB探索を用いた軽量なテーブル形式の文脈バンディットを使用している。
  • 6つのベンチマーク、3つのエージェントフレームワーク、3つのLLMバックボーンにおいて、MemConはタスク成功率で最大15.2ポイントの改善を示し、ベースラインを上回った。
  • この手法はパフォーマンスを向上させながら、トークン消費量を5--20%削減する。

MemConは、エージェントが経験の蓄積と再利用計画を適応的に管理できるようにすることで、固定されたメモリアクセスのボトルネックに対処している。