研究者らは、統合マルチモーダルモデルの共有コンテキストウィンドウの制限に対処するため、視覚情報をエピソードビジョナルメモリに外部化する認知構造化マルチモーダルエージェントを提案する。このシステムは、関連するエピソードの選択的再活性化を推論中に可能にするために、知覚抽象化エンジン、認知検索エンジン、およびマルチモーダル実行コントローラを利用する。

  • エージェントは、強化学習のためのきめ細かい検索注釈付きの構造化複数ターン会話を生成するために統合シナリオエンジンを採用している。
  • 8Bパラメータ版は20ターンセッションにわたって91.4%の検索精度を達成し、32Bベースラインを+8.2%上回っている。
  • ベースラインモデルと比較して、ターンあたりの推論時間が23.1秒から12.7秒へとほぼ半減している。
  • 認知構造化マルチモーダルエージェントハーネス（CMA-Harness）は、永続的メモリとOpenAI互換のサービングを提供するツール拡張デプロイメントを提供する。

構造化メモリとモジュラーな意思決定は、モノリシックなパラメータスケーリングよりも、長時間マルチモーダルエージェントにとってよりスケーラブルで効率的なパラダイムを提供する。