研究者らは、MemOpsというベンチマークを導入した。これは、最終回答の正確性のみ relied にするのではなく、会話をライフサイクル操作のシーケンスとして再定式化するものである。このフレームワークは、各メモリイベントをトリガー、ターゲット、状態遷移を指定する構造化されたトレースで表し、失敗の多様な原因を分離する。

  • MemOpsは、制御可能な生成パイプラインを使用して、記憶、忘却、更新などの操作を長時間のタスク指向会話に埋め込む。
  • 隣接証拠設定と長文脈設定の下で評価される6つのカテゴリの操作レベルプローブと共に、ゴールド操作トレースを生成する。
  • このベンチマークは、現在のシステムにおいてセッションレベルの検索がターンレベルの検索を上回ることを明らかにした。
  • 長文脈モデルは、順序付けられたメモリ状態の軌道を再構築する点で依然として著しく弱い。

このアプローチは、長期記憶の評価をブラックボックススコアリングから解釈可能な操作レベルの診断へと移行させ、信頼性をより良く評価することを可能にする。