VisionAId é um aplicativo Android offline-first projetado para auxiliar pessoas com deficiência visual, transformando um smartphone comum em um assistente visual em tempo real. O sistema integra seis modelos de deep learning no dispositivo que rodam através do ONNX Runtime, incluindo estimativa de profundidade monocular métrica, segmentação de instâncias e detecção de rostos.
- Um recurso distintivo é um pipeline few-shot para objetos pessoais que permite aos usuários fotografitar itens de múltiplos ângulos para localização posterior via marcadores de realidade aumentada e áudio espacial.
- O sistema utiliza quantização INT8 em um Samsung Galaxy S21 Ultra para reduzir a latência de profundidade de aproximadamente 1200 ms para 491 ms.
- Um detector de cédulas personalizado alcança um mAP@50 de 0.986, enquanto a calibração de profundidade métrica mantém erro abaixo de 1 cm dentro de 3 metros.
Ao operar inteiramente no dispositivo com suporte opcional em nuvem para descrições narrativas, o VisionAId aborda as limitações dos aplicativos assistivos existentes que dependem fortemente de conectividade em nuvem ou hardware dedicado.