Исследователи Microsoft оспаривают предположение о том, что физические AI-инференсы должны выполняться исключительно на бортовых GPU роботов, демонстрируя, что вынос на периферийные или облачные инфраструктуры значительно улучшает работу мобильных манипуляционных задач. Их систематическое изучение робототехнических нагрузок показывает, что опора на бортовые вычислительные мощности ограничивает производительность, время автономной работы и масштабируемость.
- Вынос инференса повысил показатели успешности выполнения задач картографирования, планирования, навигации и манипуляции за счёт снижения задержек и возможности использования более крупных AI-моделей.
- Бортовые GPU замедляли картографирование и планирование до 383% по сравнению с A100, в то время как при навигации наблюдалось снижение своевременного обнаружения препятствий на 30%.
- Точность моделей VLA снижалась на 50% на более мелких бортовых GPU из-за замедлений, тогда как вынесенный инференс эффективно улучшал работу операций.
- Замена энергоёмких бортовых GPU на лёгкое оборудование и удалённый инференс увеличила время автономной работы робота Stretch-3 более чем на 100%, поскольку крупные бортовые GPU, такие как Jetson Thor, разряжали батареи до 160%.
Авторы утверждают, что распределённые системы инференса критически важны для эффективного функционирования роботов в открытых, непредсказуемых средах с крупными моделями и длительным временем работы.