研究人员提出了一种认知结构化多模态代理，将视觉信息外部化到情景视觉记忆中，以解决统一多模态模型中共享上下文窗口的局限性。该系统利用感知抽象引擎、认知检索引擎和多模态执行控制器，在推理过程中实现对相关情景的选择性重新激活。

  • 该代理采用统一场景引擎，为强化学习生成结构化多轮对话及细粒度检索注释。
  • 8B 参数版本在 20 轮会话中实现了 91.4% 的检索准确率，比 32B 基线模型高出 +8.2%。
  • 与基线模型相比，每轮推理时间几乎减半，从 23.1 秒降至 12.7 秒。
  • 认知结构化多模态代理工具包 (CMA-Harness) 提供了带有持久化内存和 OpenAI 兼容服务的增强型部署。

与单体参数扩展相比，结构化记忆和模块化决策为长程多模态代理提供了更具可扩展性和效率的范式。