Para peneliti mempersembahkan OpenGlass, sebuah sistem open-source yang memisahkan sensing dan komputasi untuk memberikan bantuan visual multimodal berlatensi rendah bagi pengguna tunanetra dan low-vision. Arsitektur ini menggunakan unit kacamata berbasis ESP32 untuk menangkap konteks visual sementara perangkat konsumen terdekat melakukan inferensi MLLM lokal, menjaga data mentah secara default pada perangkat yang dikontrol pengguna.
- Latensi median user-to-audio mencapai 993 ms dengan payload yang di-resize dan 1625 ms dengan payload mentah 1280 x 720 di bawah tangkapan Wi-Fi ESP32 nyata.
- 97,5% dari uji coba berada di bawah 2 detik dengan payload yang di-resize, sementara 93,3% melakukannya dengan payload mentah.
- Sistem ini mendukung kesadaran rintangan/bahaya, kueri tanda/objek, dan pemeriksaan kualitas gambar mandiri sebagai platform referensi daripada alat navigasi bersertifikat.
OpenGlass mengurangi ketergantungan pada cloud dan penundaan jaringan yang terkait dengan asisten MLLM cloud dengan memungkinkan inferensi lokal pada perangkat wearable.