NVIDIA выпустила Cosmos 3 Edge, открытую модель с 4 миллиардами параметров, предназначенную для работы на устройстве у роботов и агентов компьютерного зрения. Выпущенная 20 июля на Hugging Face, она позволяет системам понимать окружающую среду, рассуждать в реальном времени и генерировать действия роботов локально без зависимости от облака.
- Модель использует архитектуру Mixture-of-Transformers с авторегрессионной башней для рассуждений и диффузионной башней для генерации, разделяя слои мультимодального внимания.
- Она отображает разнообразные воплощения в общее представление действий, поддерживая движение камеры, автономные транспортные средства, одноплечие, двухплечие и гуманоидных роботов.
- На NVIDIA Jetson Thor она обеспечивает управление в реальном времени с частотой 15 Гц при разрешении 640×360, генерируя 32 действия за один вывод.
- NVIDIA также выпустила Cosmos 3 Edge Policy (DROID), дообученную политику для задач pick-and-place, использующую набор данных DROID.
- Модель поддерживает развертывание на GPU NVIDIA RTX PRO, DGX, GeForce RTX и модулях Jetson, таких как T2000 и T3000.
Выпуск решает потребность в производительности уровня дата-центра для edge-систем с ограниченной памятью, позволяя разработчикам дообучать модель под конкретные воплощения примерно за один день.