NVIDIA a présenté Cosmos-H-Dreams, un simulateur génératif conditionné par l'action et en temps réel pour la robotique chirurgicale, qui condense les capacités de son Cosmos-H-Surgical-Simulator dans un modèle étudiant causal. Pris en charge par la bibliothèque FlashDreams de NVIDIA dédiée au streaming accéléré d'inférence, le système permet un contrôle interactif par une personne ou une politique apprise en boucle fermée.

  • Le modèle est construit sur la base de NVIDIA Cosmos-Predict2.5-2B et a fait l'objet d'un post-apprentissage sur le dataset Open-H-Embodiment, se spécialisant dans la suture sur table pour le kit de recherche da Vinci (dVRK).
  • Il utilise un pipeline d'apprentissage enseignant-vers-étudiant avec distillation par auto-forçage afin de préserver la dynamique chirurgicale tout en réduisant le coût de génération.
  • Les optimisations de FlashDreams portent l'inférence d'environ dix images par seconde à environ 160 images par seconde sur un seul GPU NVIDIA RTX PRO 6000.
  • Le système prend en charge l'intégration avec le contrôleur chirurgien Versius et fournit des clients navigateur et Meta Quest pour l'interaction homme-machine.

Cosmos-H-Dreams crée un environnement pour s'entraîner, explorer, générer des données et évaluer des politiques chirurgicales sans lier les expériences à du matériel robotique rare.