Los investigadores presentan OpenGlass, un sistema de código abierto que divide la captura de datos y el procesamiento para proporcionar asistencia visual multimodal de baja latencia para usuarios ciegos o con baja visión. La arquitectura utiliza unas gafas basadas en ESP32 para capturar el contexto visual mientras un dispositivo de consumo cercano realiza inferencia MLLM local, manteniendo los datos sin procesar por defecto en dispositivos controlados por el usuario.
- La latencia mediana del usuario al audio alcanza 993 ms con cargas útiles redimensionadas y 1625 ms con cargas útiles sin procesar de 1280 x 720 bajo captura Wi-Fi ESP32 real.
- El 97,5% de los ensayos están por debajo de 2 segundos con cargas útiles redimensionadas, mientras que el 93,3% lo está con cargas útiles sin procesar.
- El sistema admite la conciencia de obstáculos/peligros, consultas de señales/objetos y autoverificación de calidad de imagen como plataforma de referencia en lugar de un dispositivo de navegación certificado.
OpenGlass reduce la dependencia de la nube y los retrasos de red asociados con los asistentes MLLM en la nube al permitir la inferencia local en hardware portátil.