يقدم الباحثون نظام OpenGlass، وهو نظام مفتوح المصدر يفصل بين الاستشعار والحوسبة لتقديم مساعدة بصرية متعددة الوسائط منخفضة الكمون للمستخدمين المكفوفين وضعاف البصر. تستخدم هذه البنية نظارة مبنية على ESP32 لالتقاط السياق البصري بينما يقوم جهاز استهلاكي قريب بإجراء استنتاج MLLM محلياً، مع الاحتفاظ بالبيانات الخام افتراضياً على أجهزة يتحكم فيها المستخدم.
- يصل متوسط كمون المستخدم إلى الصوت إلى 993 مللي ثانية مع حمولات مُعاد حجمها و1625 مللي ثانية مع الحمولات الخام بدقة 1280 x 720 أثناء التقاط Wi-Fi الفعلي بواسطة ESP32.
- تقع 97.5% من المحاولات دون ثانيتين مع الحمولات المُعادة حجمها، بينما تقع 93.3% منها دون ثانيتين مع الحمولات الخام.
- يدعم النظام الوعي بالعوائق/المخاطر، واستعلامات اللوحات/الأشياء، والفحص الذاتي لجودة الصورة كمنصة مرجعية بدلاً من أداة ملاحة معتمدة.
يقلل OpenGlass من الاعتماد على السحابة وزمن الشبكة المرتبط بمساعدي MLLM السحابية من خلال تمكين الاستنتاج المحلي على الأجهزة القابلة للارتداء.