연구자들은 OpenGlass를 발표했습니다. 이는 센싱과 컴퓨팅을 분리하여 맹인 및 저시력 사용자를 위해 낮은 지연 시간의 멀티모달 시각 보조를 제공하는 오픈소스 시스템입니다. 이 아키텍처는 ESP32 기반 안경 장치를 사용하여 시각적 컨텍스트를 캡처하는 동안 근처 소비자 디바이스가 로컬 MLLM 추론을 수행하며, 기본적으로 원시 데이터를 사용자 제어 디바이스에 유지합니다.
- 실제 ESP32 Wi-Fi 캡처 환경에서 리사이즈된 페이로드 기준 사용자-오디오 지연 시간 중앙값은 993 ms이며, 원시 1280 x 720 페이로드 기준으로는 1625 ms입니다.
- 리사이즈된 페이로드의 경우 시도의 97.5%가 2초 미만이며, 원시 페이로드의 경우 93.3%가 2초 미만입니다.
- 이 시스템은 인증된 내비게이션 보조 도구보다는 참조 플랫폼으로 장애물/위험 인식, 표적/사물 쿼리, 이미지 품질 자가 검사를 지원합니다.
OpenGlass는 웨어러블 하드웨어에서 로컬 추론을 가능하게 함으로써 클라우드 MLLM 어시스턴트와 관련된 클라우드 의존성 및 네트워크 지연 시간을 줄입니다.