研究人员推出了 OpenGlass，这是一个开源系统，通过分离传感和计算功能，为盲人和低视力用户提供低延迟的多模态视觉辅助。该架构使用基于 ESP32 的眼镜单元来捕获视觉上下文，而附近的消费级设备则执行本地 MLLM 推理，默认情况下将原始数据保留在用户控制的设备上。

  • 在使用调整大小的有效载荷时，用户到音频的中位延迟为 993 毫秒；在使用未经处理的 1280 x 720 有效载荷时，中位延迟为 1625 毫秒（基于真实 ESP32 Wi-Fi 捕获）。
  • 使用调整大小的有效载荷时，97.5% 的试验低于 2 秒；而使用原始有效载荷时，这一比例为 93.3%。
  • 该系统支持障碍物/危险感知、标志/物体查询以及图像质量自检，作为参考平台而非经过认证的导航辅助工具。

OpenGlass 通过在可穿戴硬件上启用本地推理，减少了与云端 MLLM 助手相关的云依赖和网络延迟。