Pesquisadores apresentam o OpenGlass, um sistema de código aberto que divide a captura de dados e o processamento para fornecer assistência visual multimodal de baixa latência para usuários cegos ou com baixa visão. A arquitetura usa óculos baseados em ESP32 para capturar o contexto visual enquanto um dispositivo de consumo próximo realiza inferência MLLM local, mantendo os dados brutos por padrão em dispositivos controlados pelo usuário.
- A latência mediana do usuário para áudio atinge 993 ms com payloads redimensionados e 1625 ms com payloads brutos de 1280 x 720 sob captura Wi-Fi ESP32 real.
- 97,5% dos ensaios ficam abaixo de 2 segundos com payloads redimensionados, enquanto 93,3% o fazem com payloads brutos.
- O sistema suporta consciência de obstáculos/perigos, consultas de sinais/objetos e autoverificação de qualidade de imagem como plataforma de referência em vez de um dispositivo de navegação certificado.
O OpenGlass reduz a dependência da nuvem e os atrasos de rede associados aos assistentes MLLM na nuvem ao permitir inferência local em hardware vestível.