研究者らは、統合マルチモーダルモデルの共有コンテキストウィンドウの制限に対処するため、視覚情報をエピソード視覚記憶へ外部化する認知構造化マルチモーダルエージェントを提案する。本システムは、知覚抽象化エンジン、認知検索エンジン、およびマルチモーダル実行コントローラを利用し、推論中に関連するエピソードの選択的再活性化を可能にする。

  • エージェントは20ターン間のセッションで91.4%の検索精度を達成し、32Bベースラインを+8.2%上回る。
  • ベースラインモデルと比較して、ターンごとの推論時間が23.1秒から12.7秒へとほぼ半減した。
  • ユニファイドシナリオエンジンが、強化学習のための微細な検索注釈付きの構造化マルチターン会話を生成する。
  • 認知構造化マルチモーダルエージェントハーネス（CMA-Harness）は、永続的記憶とOpenAI互換サービングを備えたツール拡張デプロイメントを提供する。

構造化メモリとモジュラーな意思決定は、モノリシックなパラメータスケーリングよりも、長期マルチモーダルエージェントにとってよりスケーラブルで効率的なパラダイムを提供する。