VisionAId est une application Android conçue pour les personnes malvoyantes, transformant un smartphone grand public en assistant visuel en temps réel. Le système intègre six modèles de deep learning sur l'appareil exécutés via ONNX Runtime, notamment l'estimation de profondeur monométrique monoculaire, la segmentation d'instances et la détection de visage.
- Une fonctionnalité distinctive est un pipeline few-shot pour les objets personnels permettant aux utilisateurs de photographier des articles sous plusieurs angles pour une localisation ultérieure via des marqueurs de réalité augmentée et un audio spatial.
- Le système utilise la quantification INT8 sur un Samsung Galaxy S21 Ultra pour réduire la latence de profondeur d'environ 1200 ms à 491 ms.
- Un détecteur de billets de banque personnalisé atteint un mAP@50 de 0.986, tandis que l'étalonnage de profondeur métrique maintient une erreur inférieure à 1 cm dans un rayon de 3 mètres.
En fonctionnant entièrement sur l'appareil avec un support cloud optionnel pour les descriptions narratives, VisionAId comble les limites des applications d'assistance existantes qui dépendent fortement de la connectivité cloud ou du matériel dédié.