A NVIDIA apresentou o Cosmos-H-Dreams, um simulador generativo em tempo real e condicionado a ações para robótica cirúrgica que destila as capacidades de seu Cosmos-H-Surgical-Simulator em um modelo estudante causal. Atendido por meio da biblioteca FlashDreams da NVIDIA, otimizada para streaming-inference acelerado, o sistema permite controle interativo por uma pessoa ou política aprendida em loop fechado.

  • O modelo é construído sobre o NVIDIA Cosmos-Predict2.5-2B e pós-treinado no conjunto de dados Open-H-Embodiment, especializando-se em suturas de mesa de trabalho com o da Vinci Research Kit (dVRK).
  • Ele utiliza um pipeline de treinamento teacher-to-student com destilação por auto-força para preservar a dinâmica cirúrgica enquanto reduz o custo de geração.
  • As otimizações do FlashDreams elevam a inferência de aproximadamente dez quadros por segundo para cerca de 160 quadros por segundo em uma única GPU NVIDIA RTX PRO 6000.
  • O sistema suporta integração com o controlador de cirurgião Versius e fornece clientes para navegador e Meta Quest para interação humano-máquina.

O Cosmos-H-Dreams cria um ambiente para praticar, explorar, gerar dados e avaliar políticas cirúrgicas sem vincular experimentos a hardware robótico escasso.