NVIDIA ha presentado Cosmos-H-Dreams, un simulador generativo en tiempo real y condicionado por acciones para robótica quirúrgica que destila las capacidades de su Cosmos-H-Surgical-Simulator en un modelo estudiante causal. Servido a través de la biblioteca FlashDreams de NVIDIA para inferencia acelerada con streaming, el sistema permite el control interactivo por una persona o una política aprendida en un bucle cerrado.
- El modelo se basa en NVIDIA Cosmos-Predict2.5-2B y se post-entrenó en el conjunto de datos Open-H-Embodiment, especializándose en suturas de mesa de trabajo con el Kit de Investigación da Vinci (dVRK).
- Utiliza un pipeline de entrenamiento maestro-estudiante con destilación por auto-forzamiento para preservar la dinámica quirúrgica mientras reduce el costo de generación.
- Las optimizaciones de FlashDreams llevan la inferencia de aproximadamente diez fotogramas por segundo a unos 160 fotogramas por segundo en una única GPU NVIDIA RTX PRO 6000.
- El sistema admite integración con el controlador de cirujano Versius y proporciona clientes para navegador y Meta Quest para la interacción humano-máquina.
Cosmos-H-Dreams crea un entorno para practicar, explorar, generar datos y evaluar políticas quirúrgicas sin vincular los experimentos a hardware robótico escaso.