Исследователи представляют OpenGlass, систему с открытым исходным кодом, которая разделяет функции сбора данных и обработки информации для обеспечения мультимодальной визуальной помощи пользователям с нарушениями зрения. Архитектура использует очки на базе ESP32 для захвата визуального контекста, в то время как близлежащее потребительское устройство выполняет локальный вывод MLLM, по умолчанию сохраняя сырые данные на устройствах, контролируемых пользователем.
- Медианная задержка от пользователя до аудио составляет 993 мс при уменьшенных данных и 1625 мс при необработанных данных 1280 x 720 в условиях реального захвата через Wi-Fi ESP32.
- 97,5% испытаний укладываются в пределы 2 секунд при уменьшенных данных, тогда как 93,3% — при необработанных данных.
- Система поддерживает осведомленность об препятствиях/опасностях, запросы к знакам/объектам и самопроверку качества изображения в качестве эталонной платформы, а не сертифицированного навигационного средства.
OpenGlass снижает зависимость от облака и задержки сети, связанные с облачными MLLM-ассистентами, за счет включения локального вывода на носимом оборудовании.