VisionAId es una aplicación Android primero sin conexión diseñada para asistir a personas con discapacidad visual convirtiendo un smartphone común en un asistente visual en tiempo real. El sistema integra seis modelos de aprendizaje profundo en el dispositivo que se ejecutan a través de ONNX Runtime, incluyendo estimación de profundidad monocular métrica, segmentación de instancias y detección de rostros.
- Una característica distintiva es una pipeline few-shot para objetos personales que permite a los usuarios fotografiar artículos desde múltiples ángulos para su ubicación posterior mediante marcadores de realidad aumentada y audio espacial.
- El sistema utiliza cuantización INT8 en un Samsung Galaxy S21 Ultra para reducir la latencia de profundidad de aproximadamente 1200 ms a 491 ms.
- Un detector de billetes personalizado logra un mAP@50 de 0.986, mientras que la calibración de profundidad métrica mantiene un error por debajo de 1 cm dentro de los 3 metros.
Al operar completamente en el dispositivo con soporte opcional en la nube para descripciones narrativas, VisionAId aborda las limitaciones de las aplicaciones asistivas existentes que dependen en gran medida de la conectividad en la nube o hardware dedicado.