研究人员提出了ROSA，这是一种面向机器人工厂的机器人基础模型推理系统，突破了单机器人、边缘计算的假设。该系统利用共享GPU池服务，使机器人群体能够通过网络访问服务器级GPU。

  • ROSA采用共享GPU池服务，以提升整个机器人集群的推理性能、电池续航和GPU利用率。
  • 它提供了一种感知机器人的编程抽象，支持多模型流水线、按任务的性能要求以及故障处理。
  • 该系统使用以工厂目标为导向的调度策略，以最大化符合SLO要求的工厂生产力，而非最小化单个请求延迟。
  • ROSA基于Ray Serve构建，并采用vLLM、PyTorch和JAX后端，相比传统的专用推理系统，可将工厂生产力提升高达12.06倍。

ROSA通过优化集体工厂成果而非孤立机器人的延迟，解决了现有系统的局限性。