英伟达发布了Cosmos 3 Edge，这是一款拥有40亿参数的开放世界模型，旨在在内存受限的边缘系统上提供数据中心级别的性能。该模型使机器人和视觉AI智能体能够在NVIDIA Jetson模块等设备上直接理解周围环境、实时推理并生成动作。

  • Cosmos 3 Edge以机器人控制分辨率（640×360）运行，每次推理生成32个动作，并在NVIDIA Jetson Thor上实现15 Hz的实时控制。
  • 在VANTAGE-Bench视觉分析基准测试中，它在同类大小模型中排名第一，并为机器人策略学习树立了最新技术水平。
  • 其架构将用于推理的自回归塔与用于预测的扩散塔相结合，共享多模态注意力层以对齐语言、视频、音频和动作标记。
  • 英伟达还发布了在DROID数据集上进行后训练的Cosmos 3 Edge Policy (DROID)，用于拾取和放置任务，并提供了参考检查点和训练脚本。

此次发布使开发人员能够在设备上将模型部署得更靠近传感器，利用开放框架对模型进行定制和专业化，以适配特定的物理AI应用。