VisionAIdは、視覚障害者を支援するために設計されたオフラインファーストのAndroidアプリケーションで、コモディティスマートフォンを実時間のビジュアルアシスタントに変えます。このシステムは、ONNX Runtimeを通じて実行される6つのオンデバイスディープラーニングモデルを統合しており、これにはメトリック単眼奥行き推定、インスタンスセグメンテーション、および顔検出が含まれます。

  • 特徴的な機能として、個人用の物体に対するフューショットパイプラインがあり、ユーザーが複数の角度からアイテムを撮影し、拡張現実マーカーと空間オーディオを使用して後で位置特定できるようにします。
  • システムはSamsung Galaxy S21 Ultra上でINT8量子化を使用し、奥行きレイテンシを約1200msから491msに削減しました。
  • カスタム紙幣検出器はmAP@50で0.986を達成し、メトリック奥行きキャリブレーションは3メートル以内で1cm未満の誤差を維持します。

Narrative descriptionsのためのオプションのクラウドサポートを備えつつ完全にオンデバイスで動作することで、VisionAIdは既存の支援アプリがクラウド接続または専用ハードウェアに過度に依存しているという制限に対処しています。