VisionAId — это автономное Android-приложение, предназначенное для помощи людям с нарушениями зрения, превращающее обычный смартфон в визуального ассистента реального времени. Система интегрирует шесть моделей глубокого обучения, работающих на устройстве через ONNX Runtime, включая метрическую моноскопическую оценку глубины, сегментацию экземпляров и обнаружение лиц.
- Отличительной особенностью является few-shot конвейер для персональных объектов, который позволяет пользователям фотографировать предметы с разных углов для последующего поиска с помощью маркеров дополненной реальности и пространственного звука.
- Система использует INT8 квантование на Samsung Galaxy S21 Ultra для снижения задержки глубины с примерно 1200 мс до 491 мс.
- Пользовательский детектор банкнот достигает mAP@50 равного 0.986, в то время как калибровка метрической глубины поддерживает ошибку ниже 1 см в пределах 3 метров.
Работая полностью на устройстве с опциональной облачной поддержкой для нарративных описаний, VisionAId решает ограничения существующих приложений-ассистентов, которые сильно полагаются на облачное подключение или выделенное оборудование.