शोधकर्ताओं ने OpenGlass प्रस्तुत किया, एक ओपन-सोर्स सिस्टम जो संवेदन और कंप्यूटिंग को विभाजित करके अंधे और कम दृष्टि वाले उपयोगकर्ताओं के लिए कम-लैटेंसी मल्टीमोडल दृश्य सहायता प्रदान करता है। वास्तुकला ESP32-आधारित चश्मे इकाई का उपयोग करती है जो दृश्य संदर्भ को कैप्चर करती है जबकि निकटवर्ती उपभोक्ता डिवाइस स्थानीय MLLM इनफरेंस करता है, डिफ़ॉल्ट रूप से कच्चे डेटा को उपयोगकर्ता-नियंत्रित डिवाइस पर रखता है।
- मध्यमान उपयोगकर्ता-से-ऑडियो लैटेंसी 993 ms तक पहुंचती है जब रीसाइज्ड पेलोड के साथ और 1625 ms जब कच्चे 1280 x 720 पेलोड के साथ वास्तविक ESP32 Wi-Fi कैप्चर के तहत।
- 97.5% प्रयोग रीसाइज्ड पेलोड के साथ 2 सेकंड से नीचे होते हैं, जबकि 93.3% कच्चे पेलोड के साथ ऐसा करते हैं।
- सिस्टम बाधा/खतरा जागरूकता, संकेत/वस्तु क्वेरीज़, और छवि गुणवत्ता स्वयं-जाँच को एक प्रमाणित नेविगेशन सहायक के बजाय एक संदर्भ प्लेटफ़ॉर्म के रूप में समर्थन देता है।
OpenGlass वेयरबल हार्डवेयर पर स्थानीय इनफरेंस को सक्षम बनाकर क्लाउड MLLM सहायकों से जुड़े क्लाउड निर्भरता और नेटवर्क विलंबता को कम करता है।