研究人员提出了一种认知结构化多模态智能体，将视觉信息外部化到情景视觉记忆中，以解决统一多模态模型中共享上下文窗口的局限性。该系统利用感知抽象引擎、认知检索引擎和多模态执行控制器，在推理过程中实现相关情景的选择性激活。

  • 该智能体在20轮会话中实现了91.4%的检索准确率，比32B基线模型高出+8.2%。
  • 与基线模型相比，每轮推理时间几乎减半，从23.1s降至12.7s。
  • 统一场景引擎生成结构化的多轮对话，并带有细粒度的检索注释，用于强化学习。
  • 认知结构化多模态智能体工具包（CMA-Harness）提供了增强工具的部署、持久化内存以及兼容OpenAI的服务。

与单体参数扩展相比，结构化记忆和模块化决策为长程多模态智能体提供了更具可扩展性和效率的范式。