Microsoft Researchは、物理AI推論がオンボードのロボットGPUでのみ実行されなければならないという前提に挑戦し、エッジまたはクラウドインフラストラクチャへのオフロードがモバイルマニピュレーションワークロードを大幅に強化することを実証した。彼らのロボティクスワークロードに対する体系的な調査により、オンボードコンピューティングに依存することが性能、バッテリー寿命、スケーラビリティを制限することが明らかになった。

  • 推論のオフロードは、レイテンシの削減とより大規模なAIモデルの有効化により、マッピング、プランニング、ナビゲーション、マニピュレーションのタスク成功率を向上させた。
  • オンボードGPUは、A100と比較してマッピングとプランニングを最大383%遅くし、ナビゲーションではタイムリーな障害物検出が30%低下した。
  • VLAモデルの精度は、小さなオンボードGPU上でスローダウンにより50%低下したが、オフロードされた推論は操作を効果的に強化した。
  • 電力消費の大きいオンボードGPUを軽量ハードウェアとリモート推論に置き換えることで、Stretch-3ロボットのバッテリー寿命が100%以上向上し、Jetson Thorのような大規模なオンボードGPUは最大160%のバッテリー駆動を引き起こした。

著者らは、大規模モデルと長時間の運用においてロボットが効果的に機能するためには、分散推論システムが重要であると主張している。