NVIDIA는 로봇과 비전 AI 에이전트를 위해 온디바이스에서 실행하도록 설계된 40억 파라미터 규모의 오픈 월드 모델인 Cosmos 3 Edge를 출시했습니다. Hugging Face에서 7월 20일 공개된 이 모델은 클라우드 의존성 없이 로컬에서 주변 환경을 이해하고 실시간으로 추론하며 로봇 행동을 생성할 수 있게 합니다.

  • 이 모델은 추론을 위한 자기회귀 타워와 생성을 위한 확산 타워를 갖추고 있으며 다중 모달 어텐션 레이어를 공유하는 Mixture-of-Transformers 아키텍처를 사용합니다.
  • 다양한 구현체를 공통 행동 표현으로 매핑하여 카메라 모션, 자율주행차, 단일 암, 이중 암 및 휴머노이드 로봇을 지원합니다.
  • NVIDIA Jetson Thor에서 640×360 해상도로 초당 15Hz의 실시간 제어를 달성하며, 추론마다 32개의 행동을 생성합니다.
  • NVIDIA는 또한 DROID 데이터셋을 사용한 픽 앤 플레이스 작업을 위한 사후 학습 정책인 Cosmos 3 Edge Policy(DROID)도 출시했습니다.
  • 이 모델은 NVIDIA RTX PRO GPU, DGX, GeForce RTX 및 T2000과 T3000 같은 Jetson 모듈에서의 배포를 지원합니다.

이 출시는 메모리가 제한된 엣지 시스템에서 데이터 센터 수준의 성능 필요성을 해결하며, 개발자가 약 하루 만에 특정 구현체를 위해 모델을 사후 학습할 수 있게 합니다.