마이크로소프트 리서치는 물리적 AI 추론이 온보드 로봇 GPU에서만 실행되어야 한다는 가정에 도전하며, 엣지 또는 클라우드 인프라로의 오프로딩이 모바일 조작 워크로드를 크게 향상시킴을 입증했습니다. 그들의 로봇공학 워크로드에 대한 체계적인 연구는 온보드 컴퓨팅 의존성이 성능, 배터리 수명 및 확장성을 제한한다는 것을 보여줍니다.

  • 추론 오프로딩은 지연 시간을 줄이고 더 큰 AI 모델을 가능하게 함으로써 매핑, 계획, 내비게이션 및 조작의 작업 성공률을 향상시켰습니다.
  • 온보드 GPU는 A100과 비교해 매핑 및 계획을 최대 383%까지 느리게 했으며, 내비게이션은 시기적절한 장애물 감지에서 30%의 성능 저하를 보였습니다.
  • VLA 모델 정확도는 작은 온보드 GPU에서 지연으로 인해 50% 떨어졌으나, 오프로딩된 추론은 작업을 효과적으로 향상시켰습니다.
  • 전력 소모가 큰 온보드 GPU를 경량 하드웨어와 원격 추론으로 교체함으로써 Stretch-3 로봇의 배터리 수명을 100% 이상 연장했으며, Jetson Thor 같은 대형 온보드 GPU는 배터리를 최대 160%까지 소모했습니다.

저자들은 분산된 추론 시스템이 대규모 모델과 긴 작동 시간 동안 개방적이고 예측 불가능한 환경에서 로봇이 효과적으로 기능하는 데 필수적이라고 주장합니다.