NVIDIA는 메모리가 제한된 엣지 시스템에서 데이터 센터 수준의 성능을 제공하도록 설계된 40억 파라미터의 오픈 월드 모델인 Cosmos 3 Edge를 출시했습니다. 이 모델은 로봇과 비전 AI 에이전트가 주변 환경을 이해하고, 실시간으로 추론하며, NVIDIA Jetson 모듈과 같은 디바이스에서 직접 행동을 생성할 수 있게 합니다.
- Cosmos 3 Edge는 로봇 제어 해상도(640×360)에서 작동하며, 추론당 32개의 행동을 생성하고 NVIDIA Jetson Thor에서 15 Hz의 실시간 제어를 달성합니다.
- 비전 분석을 위한 VANTAGE-Bench에서 유사한 크기의 모델 중 1위를 차지하며 로봇 정책 학습에 있어 최첨단 성능을 기록했습니다.
- 이 아키텍처는 추론을 위한 자기회귀 타워와 예측을 위한 확산 타워를 결합하여, 언어, 비디오, 오디오 및 행동 토큰을 정렬하기 위해 멀티모달 어텐션 레이어를 공유합니다.
- NVIDIA는 또한 픽 앤 플레이스 작업을 위해 DROID 데이터셋으로 사후 학습된 Cosmos 3 Edge Policy(DROID)와 함께 참조 체크포인트 및 훈련 스크립트도 출시했습니다.
이 출시는 개발자가 오픈 프레임워크를 사용하여 모델을 디바이스의 센서에 더 가깝게 배포하고, 특정 물리 AI 애플리케이션에 맞게 모델을 사용자 지정 및 전문화할 수 있게 합니다.