NVIDIA推出了Cosmos-H-Dreams，这是一款面向手术机器人的实时、动作条件生成式模拟器，它将Cosmos-H-Surgical-Simulator的能力蒸馏到一个因果学生模型中。该系统通过NVIDIA的FlashDreams加速流式推理库提供服务，支持在闭环中由人员或学习到的策略进行交互控制。

  • 该模型基于NVIDIA Cosmos-Predict2.5-2B构建，并在Open-H-Embodiment数据集上进行后训练，专门针对达芬奇研究套件（dVRK）桌面缝合任务。
  • 它采用教师到学生的训练流程，结合自强制蒸馏技术，在降低生成成本的同时保留手术动力学特性。
  • FlashDreams的优化将推理速度从每秒约10帧提升至单张NVIDIA RTX PRO 6000 GPU上的约160帧。
  • 该系统支持与Versius外科医生控制器集成，并提供浏览器和Meta Quest客户端以支持人机交互。

Cosmos-H-Dreams创建了一个用于练习、探索、生成数据和评估手术策略的环境，无需将实验绑定到稀缺的机器人硬件上。