NVIDIA telah merilis Cosmos 3 Edge, sebuah model dunia terbuka dengan 4 miliar parameter yang dirancang untuk dijalankan secara on-device pada robot dan agen AI penglihatan. Dirilis pada 20 Juli di Hugging Face, model ini memungkinkan sistem memahami lingkungan, bernalar secara real-time, dan menghasilkan tindakan robot secara lokal tanpa ketergantungan pada cloud.
- Model ini menggunakan arsitektur Mixture-of-Transformers dengan menara autoregresif untuk penalaran dan menara difusi untuk generasi, yang berbagi lapisan perhatian multimodal.
- Model ini memetakan beragam implementasi fisik ke dalam representasi tindakan umum, mendukung gerakan kamera, kendaraan otonom, robot lengan tunggal, lengan ganda, dan robot humanoid.
- Pada NVIDIA Jetson Thor, model ini mencapai kontrol real-time pada 15 Hz dengan resolusi 640×360, menghasilkan 32 tindakan per inferensi.
- NVIDIA juga merilis Cosmos 3 Edge Policy (DROID), sebuah kebijakan pasca-pelatihan untuk tugas pick-and-place yang menggunakan dataset DROID.
- Model ini mendukung penyebaran pada GPU NVIDIA RTX PRO, DGX, GeForce RTX, dan modul Jetson seperti T2000 dan T3000.
Rilis ini menjawab kebutuhan akan kinerja setara pusat data pada sistem tepi dengan keterbatasan memori, memungkinkan pengembang melakukan post-training model untuk implementasi fisik tertentu dalam sekitar satu hari.