NVIDIA telah memperkenalkan Cosmos-H-Dreams, simulator generatif berbasis aksi dan waktu nyata untuk robotika bedah yang memadatkan kemampuan Cosmos-H-Surgical-Simulator-nya ke dalam model siswa kausal. Dilayani melalui perpustakaan inferensi streaming dipercepat FlashDreams dari NVIDIA, sistem ini memungkinkan kontrol interaktif oleh manusia atau kebijakan terlatih dalam loop tertutup.
- Model ini dibangun di atas NVIDIA Cosmos-Predict2.5-2B dan dilatih ulang pasca pada dataset Open-H-Embodiment, dengan spesialisasi pada menjahit meja kerja da Vinci Research Kit (dVRK).
- Sistem ini menggunakan pipeline pelatihan guru-ke-siswa dengan distilasi pemaksaan diri untuk mempertahankan dinamika bedah sambil mengurangi biaya generasi.
- Optimasi FlashDreams meningkatkan inferensi dari sekitar sepuluh frame per detik menjadi sekitar 160 frame per detik pada satu GPU NVIDIA RTX PRO 6000.
- Sistem ini mendukung integrasi dengan pengendali ahli bedah Versius dan menyediakan klien browser serta Meta Quest untuk interaksi manusia-mesin.
Cosmos-H-Dreams menciptakan lingkungan untuk berlatih, menjelajahi, menghasilkan data, dan mengevaluasi kebijakan bedah tanpa mengaitkan eksperimen dengan perangkat keras robotik yang langka.