研究人员提出了一种认知结构化多模态智能体，将视觉信息外部化到情景视觉记忆中，以解决统一多模态模型中共享上下文窗口的局限性。该系统利用感知抽象引擎、认知检索引擎和多模态执行控制器，在推理过程中实现相关情景的选择性激活。
- 该智能体采用统一场景引擎生成结构化多轮对话，并为强化学习提供细粒度检索标注。
- 8B参数版本在20轮会话中实现了91.4%的检索准确率，比32B基线模型高出+8.2%。
- 与基线模型相比，每轮推理时间几乎减半，从23.1秒降至12.7秒。
- 认知结构化多模态智能体工具包（CMA-Harness）提供了增强工具部署、持久记忆和OpenAI兼容的服务。
结构化记忆和模块化决策为长程多模态智能体提供了比单体参数扩展更具可扩展性和高效的范式。