研究者らは、ロボット工場で使用されることを目的としたロボティクス基盤モデルのサービングシステム「ROSA」を提案した。これは単一ロボットやエッジコンピューティングの前提を超えたものである。本システムは共有GPUプールサービングを活用し、ロボット群がネットワーク経由でサーバークラスのGPUにアクセスできるようにする。

  • ROSAは共有GPUプールサービングを採用し、 fleet全体の推論性能、バッテリー持続時間、GPU利用率を向上させる。
  • 複数モデルパイプライン、タスクごとのパフォーマンス要件、障害処理をサポートするロボティクス対応のプログラミング抽象化を提供する。
  • システムは工場目標駆動型スケジューリングを使用し、個々のリクエストレイテンシの最小化ではなく、SLOを満たす工場生産性の最大化を図る。
  • Ray Serve、vLLM、PyTorch、JAXバックエンド上に実装されたROSAは、従来の専用サービングシステムと比較して工場生産性を最大12.06倍向上させる。

ROSAは、個々のロボットレイテンシではなく集団的な工場の成果を最適化することで、既存システムの限界に対処する。