NVIDIA представила Cosmos-H-Dreams, генеративный симулятор для хирургической робототехники, работающий в реальном времени и управляемый действиями, который переносит возможности своего Cosmos-H-Surgical-Simulator в причинную модель-студент. Система обслуживается через библиотеку ускоренного потокового вывода FlashDreams от NVIDIA и обеспечивает интерактивное управление человеком или обученной политикой по замкнутому контуру.
- Модель построена на основе NVIDIA Cosmos-Predict2.5-2B и дообучена на датасете Open-H-Embodiment, специализируясь на настольном шитье с использованием Research Kit da Vinci (dVRK).
- Она использует конвейер обучения «учитель-студент» с дистилляцией через самонавязывание для сохранения хирургической динамики при снижении стоимости генерации.
- Оптимизации FlashDreams увеличивают скорость вывода примерно с десяти кадров в секунду до 160 кадров в секунду на одном GPU NVIDIA RTX PRO 6000.
- Система поддерживает интеграцию с контроллером хирурга Versius и предоставляет браузерные клиенты и клиенты для Meta Quest для взаимодействия человека с машиной.
Cosmos-H-Dreams создает среду для практики, исследования, генерации данных и оценки хирургических политик без привязки экспериментов к дефицитному роботизированному оборудованию.