Microsoft Research menantang asumsi bahwa inferensi AI fisik harus berjalan secara eksklusif pada GPU onboard robot, dengan mendemonstrasikan bahwa pengalihan ke infrastruktur tepi atau cloud secara signifikan meningkatkan beban kerja manipulasi mobile. Studi sistematis mereka terhadap beban kerja robotika mengungkapkan bahwa mengandalkan komputasi onboard membatasi kinerja, masa pakai baterai, dan skalabilitas.

  • Pengalihan beban inferensi meningkatkan tingkat keberhasilan tugas untuk pemetaan, perencanaan, navigasi, dan manipulasi dengan mengurangi latensi dan memungkinkan penggunaan model AI yang lebih besar.
  • GPU onboard menyebabkan pemetaan dan perencanaan melambat hingga 383% dibandingkan dengan A100, sementara navigasi mengalami penurunan 30% dalam deteksi rintangan tepat waktu.
  • Akurasi model VLA turun sebesar 50% pada GPU onboard yang lebih kecil karena perlambatan, sedangkan inferensi yang dialihkan meningkatkan operasi secara efektif.
  • Mengganti GPU onboard yang boros daya dengan perangkat keras ringan dan inferensi jarak jauh meningkatkan masa pakai baterai robot Stretch-3 lebih dari 100%, karena GPU onboard besar seperti Jetson Thor menguras baterai hingga 160%.

Para penulis berargumen bahwa sistem inferensi terdistribusi sangat penting agar robot dapat berfungsi secara efektif di lingkungan terbuka yang tidak terduga dengan model besar dan waktu operasional yang panjang.