शोधकर्ताओं ने ROSA का प्रस्ताव रखा, जो एक रोबोटिक्स फाउंडेशन मॉडल सर्विंग सिस्टम है जो रोबोट कारखानों के लिए डिज़ाइन किया गया है और जो एकल-रोबोट, एज-कंप्यूटिंग मान्यताओं से परे जाता है। यह सिस्टम साझा GPU-पूल सर्विंग का उपयोग करता है ताकि रोबोटों के बेड़े नेटवर्क के माध्यम से सर्वर-क्लास GPUs तक पहुंच सकें।
- ROSA इनफ्रेंस प्रदर्शन, बैटरी अवधि और पूरे बेड़े में GPU उपयोग को बढ़ाने के लिए साझा GPU-पूल सर्विंग अपनाता है।
- यह बहु-मॉडल पाइलाइन, प्रति-कार्य प्रदर्शन आवश्यकताओं और विफलता हैंडलिंग का समर्थन करने वाला रोबोटिक्स-अवेयर प्रोग्रामिंग अमूर्तता प्रदान करता है।
- सिस्टम कारखाने-उद्देश्य-चालित शेड्यूलिंग का उपयोग करता है ताकि व्यक्तिगत अनुरोध विलंबता को कम करने के बजाय SLO-योग्य कारखाने की उत्पादकता को अधिकतम किया जा सके।
- Ray Serve, vLLM, PyTorch और JAX बैकएंड पर लागू, ROSA पारंपरिक समर्पित सर्विंग सिस्टमों की तुलना में कारखाने की उत्पादकता को 12.06x तक बढ़ाता है।
ROSA अलग-थलग रोबोट विलंबता के बजाय सामूहिक कारखाने परिणामों के लिए अनुकूलित करके मौजूदा सिस्टम की सीमाओं को दूर करता है।