微软研究院展示卸载物理AI推理可提升机器人性能与电池续航

微软研究院挑战了物理AI推理必须仅在机器人 onboard GPU 上运行的假设，证明将推理任务卸载到边缘或云基础设施可显著提升移动操作工作负载的性能。他们对机器人工作负载进行的系统研究表明，依赖 onboard 计算会限制性能、电池续航和可扩展性。

• 通过降低延迟并支持更大的 AI 模型，卸载推理提高了映射、规划、导航和操作的任务成功率。
• 与 A100 相比，onboard GPU 导致映射和规划速度下降高达 383%，而导航的及时障碍物检测率下降了 30%。
• 由于速度变慢，较小 onboard GPU 上的 VLA 模型准确率下降了 50%，而卸载推理有效提升了操作性能。
• 用轻量级硬件和远程推理替换耗电严重的 onboard GPU，使 Stretch-3 机器人的电池续航时间延长了超过 100%，因为像 Jetson Thor 这样的大型 onboard GPU 会导致电池消耗增加高达 160%。

作者认为，分布式推理系统对于机器人在开放、不可预测的环境中有效运行、使用大型模型并延长操作时间至关重要。