VisionAId 是一款离线优先的 Android 应用程序，旨在通过将普通智能手机转变为实时视觉助手来协助视障人士。该系统集成了六个通过 ONNX Runtime 运行的设备端深度学习模型，包括度量单目深度估计、实例分割和人脸检测。

  • 一个独特的功能是针对个人物品的 few-shot 流水线，允许用户从多个角度拍摄物品，以便后续通过增强现实标记和空间音频进行定位。
  • 该系统在 Samsung Galaxy S21 Ultra 上使用 INT8 量化，将深度延迟从约 1200 毫秒降低到 491 毫秒。
  • 自定义钞票检测器实现了 0.986 的 mAP@50，而度量深度校准在 3 米范围内保持低于 1 厘米的误差。

VisionAId 完全在设备端运行，并可选支持用于叙述描述的云服务，解决了现有辅助应用程序严重依赖云连接或专用硬件的局限性。