NVIDIA telah merilis Cosmos 3 Edge, model dunia terbuka 4 miliar parameter yang dirancang untuk memberikan kinerja setara pusat data pada sistem tepi dengan keterbatasan memori. Model ini memungkinkan robot dan agen AI penglihatan memahami lingkungan mereka, bernalar secara waktu nyata, dan menghasilkan tindakan langsung di perangkat seperti modul NVIDIA Jetson.
- Cosmos 3 Edge beroperasi pada resolusi kontrol robot (640×360) dan menghasilkan 32 tindakan per inferensi sambil mencapai kontrol waktu nyata pada 15 Hz di NVIDIA Jetson Thor.
- Model ini menduduki peringkat #1 di antara model seukuran serupa pada VANTAGE-Bench untuk analisis penglihatan dan menetapkan state of the art untuk pembelajaran kebijakan robot.
- Arsitekturnya menggabungkan menara autoregresif untuk bernalar dengan menara difusi untuk prediksi, berbagi lapisan perhatian multimodal untuk menyelaraskan token bahasa, video, audio, dan tindakan.
- NVIDIA juga merilis Cosmos 3 Edge Policy (DROID) yang telah dilatih ulang pasca pada dataset DROID untuk tugas pengambilan dan penempatan, bersama dengan checkpoint referensi dan skrip pelatihan.
Rilis ini memungkinkan pengembang untuk menerapkan model lebih dekat ke sensor di perangkat, menggunakan kerangka kerja terbuka untuk menyesuaikan dan mengkhususkan model untuk aplikasi AI fisik tertentu.