माइक्रोसॉफ्ट रिसर्च इस धारणा को चुनौती देता है कि भौतिक एआई इनफरेंस को केवल ऑनबोर्ड रोबोट GPUs पर चलाना आवश्यक है, यह प्रदर्शित करते हुए कि edge या क्लाउड इंफ्रास्ट्रक्चर पर ऑफलोडिंग मोबाइल मैनिपुलेशन वर्कलोड्स को महत्वपूर्ण रूप से बढ़ाता है। रोबोटिक्स वर्कलोड्स के उनके व्यवस्थित अध्ययन से पता चलता है कि ऑनबोर्ड कंप्यूट पर निर्भर रहने से प्रदर्शन, बैटरी जीवन और स्केलेबिलिटी सीमित हो जाती है।
- इनफरेंस को ऑफलोड करने से लेटेंसी कम करके और बड़े एआई मॉडल्स को सक्षम बनाकर मैपिंग, प्लानिंग, नेविगेशन और मैनिपुलेशन के लिए कार्य सफलता दरों में सुधार हुआ।
- ऑनबोर्ड GPUs ने A100 की तुलना में मैपिंग और प्लानिंग को 383% तक धीमा कर दिया, जबकि नेविगेशन में समय पर बाधा का पता लगाने में 30% की कमी आई।
- छोटे ऑनबोर्ड GPUs पर VLA मॉडल सटीकता लेटेंसी के कारण 50% तक गिर गई, जबकि ऑफलोडेड इनफरेंस ने कार्यों को प्रभावी रूप से बढ़ावा दिया।
- पावर-खपत करने वाले ऑनबोर्ड GPUs को हल्के हार्डवेयर और रिमोट इनफरेंस से बदलने से Stretch-3 रोबोट की बैटरी जीवन 100% से अधिक बढ़ गई, क्योंकि Jetson Thor जैसे बड़े ऑनबोर्ड GPUs ने बैटरियों को 160% तक खाली कर दिया।
लेखकों का तर्क है कि वितरित इनफरेंस सिस्टम रोबोट्स के लिए खुले, अप्रत्याशित वातावरण में बड़े मॉडल्स और लंबे संचालन समय के साथ प्रभावी ढंग से काम करने के लिए महत्वपूर्ण हैं।