NVIDIA发布了Cosmos 3 Edge，这是一款拥有40亿参数的开放世界模型，旨在在设备上运行以支持机器人和视觉AI智能体。该模型于7月20日在Hugging Face上发布，使系统能够在不依赖云端的本地环境中理解周围环境、实时推理并生成机器人动作。

  • 该模型采用混合Transformer架构，包含用于推理的自回归塔和用于生成的扩散塔，共享多模态注意力层。
  • 它将多样化的执行体映射到统一的动作表示中，支持相机运动、自动驾驶汽车、单臂、双臂和人形机器人。
  • 在NVIDIA Jetson Thor上，它以15 Hz的频率实现实时控制，分辨率为640×360，每次推理生成32个动作。
  • NVIDIA还发布了Cosmos 3 Edge Policy (DROID)，这是一种基于DROID数据集的用于抓取和放置任务的后训练策略。
  • 该模型支持部署在NVIDIA RTX PRO GPU、DGX、GeForce RTX以及T2000和T3000等Jetson模块上。

此次发布旨在满足内存受限的边缘系统对数据中心级性能的需求，允许开发者在约一天的时间内针对特定执行体对模型进行后训练。