VisionAId는 시각 장애인을 돕기 위해 설계된 오프라인 우선 Android 애플리케이션으로, 범용 스마트폰을 실시간 비주얼 어시스턴트로 변환합니다. 이 시스템은 ONNX Runtime를 통해 실행되는 6개의 온디바이스 딥러닝 모델을 통합하며, 여기에는 메트릭 모노큘러 깊이 추정, 인스턴스 세그멘테이션 및 얼굴 감지가 포함됩니다.

  • 독특한 기능으로 개인 객체를 위한 퓨샷 파이프라인이 있어 사용자가 여러 각도에서 아이템을 촬영한 후 증강 현실 마커와 공간 오디오를 통해 나중에 위치를 찾을 수 있습니다.
  • 시스템은 Samsung Galaxy S21 Ultra에서 INT8 양자화를 사용하여 깊이 지연 시간을 약 1200ms에서 491ms로 줄였습니다.
  • 사용자 지정 지폐 감지기는 mAP@50에서 0.986을 달성했으며, 메트릭 깊이 보정은 3미터 내에서 1cm 미만의 오차를 유지합니다.

서사 설명을 위한 선택적 클라우드 지원을 갖춘 채 완전히 온디바이스에서 작동함으로써 VisionAId는 기존 보조 앱이 클라우드 연결 또는 전용 하드웨어에 과도하게 의존하는 한계를 해결합니다.