NVIDIA выпустила Cosmos 3 Edge, открытую модель реального мира с 4 миллиардами параметров, предназначенную для обеспечения производительности уровня дата-центра на периферийных системах с ограниченной памятью. Модель позволяет роботам и агентам компьютерного зрения понимать окружающую среду, рассуждать в реальном времени и генерировать действия непосредственно на устройствах, таких как модули NVIDIA Jetson.
- Cosmos 3 Edge работает с разрешением управления роботом (640×360) и генерирует 32 действия за одно выведение, обеспечивая управление в реальном времени с частотой 15 Гц на NVIDIA Jetson Thor.
- Она занимает #1 место среди моделей аналогичного размера в VANTAGE-Bench для анализа зрения и устанавливает новое состояние искусства (state of the art) для обучения политик роботов.
- Архитектура сочетает авторегрессионную башню для рассуждений с диффузионной башней для прогнозирования, разделяя слои мультимодального внимания для согласования токенов языка, видео, аудио и действий.
- NVIDIA также выпустила Cosmos 3 Edge Policy (DROID), дообученную на наборе данных DROID для задач перемещения объектов, вместе с эталонными контрольными точками и скриптами обучения.
Выпуск позволяет разработчикам разворачивать модели ближе к датчикам непосредственно на устройстве, используя открытые фреймворки для настройки и специализации модели под конкретные приложения физического ИИ.