Microsoft Research desafía la suposición de que la inferencia de IA física debe ejecutarse exclusivamente en las GPUs a bordo del robot, demostrando que descargarla a infraestructura perimetral o en la nube mejora significativamente las cargas de trabajo de manipulación móvil. Su estudio sistemático de cargas de trabajo de robótica revela que depender del cálculo a bordo limita el rendimiento, la vida útil de la batería y la escalabilidad.

  • La descarga de inferencia mejoró las tasas de éxito de tareas para mapeo, planificación, navegación y manipulación al reducir la latencia y permitir modelos de IA más grandes.
  • Las GPUs a bordo hicieron que el mapeo y la planificación se ralentizaran hasta un 383% en comparación con una A100, mientras que la navegación experimentó una caída del 30% en la detección oportuna de obstáculos.
  • Las precisiones de los modelos VLA cayeron un 50% en GPUs a bordo más pequeñas debido a las ralentizaciones, mientras que la inferencia descargada mejoró eficazmente las operaciones.
  • Reemplazar las GPUs a bordo con alto consumo de energía por hardware ligero e inferencia remota mejoró la vida útil de la batería del robot Stretch-3 en más de un 100%, ya que grandes GPUs a bordo como Jetson Thor agotaban las baterías hasta un 160%.

Los autores argumentan que los sistemas de inferencia distribuida son críticos para que los robots funcionen eficazmente en entornos abiertos e impredecibles con modelos grandes y tiempos de operación extendidos.