Les chercheurs présentent OpenGlass, un système open-source qui sépare la capture des données et le traitement pour fournir une assistance visuelle multimodale à faible latence aux utilisateurs aveugles ou malvoyants. L'architecture utilise un module de lunettes basé sur ESP32 pour capturer le contexte visuel tandis qu'un appareil grand public proche effectue l'inférence MLLM locale, gardant les données brutes par défaut sur des appareils contrôlés par l'utilisateur.
- La latence médiane utilisateur-vers-audio atteint 993 ms avec des charges utiles redimensionnées et 1625 ms avec des charges utiles brutes de 1280 x 720 lors d'une capture Wi-Fi ESP32 réelle.
- 97,5 % des essais sont inférieurs à 2 secondes avec des charges utiles redimensionnées, tandis que 93,3 % le sont avec des charges utiles brutes.
- Le système prend en charge la conscience des obstacles/dangers, les requêtes de panneaux/objets et l'auto-vérification de la qualité d'image comme plateforme de référence plutôt que comme aide à la navigation certifiée.
OpenGlass réduit la dépendance au cloud et les délais réseau associés aux assistants MLLM cloud en permettant l'inférence locale sur du matériel portable.