VisionAId एक ऑफ़लाइन-फर्स्ट एंड्रॉयड ऐप्लिकेशन है जो दृष्टिबाधित लोगों की सहायता के लिए डिज़ाइन किया गया है, एक सामान्य स्मार्टफोन को रियल-टाइम विजुअल असिस्टेंट में बदलकर। सिस्टम ONNX Runtime के माध्यम से चलने वाले छह ऑन-डिवाइस डीप लर्निंग मॉडल्स को एकीकृत करता है, जिसमें मेट्रिक मोनोक्यूलर डेप्थ एस्टिमेशन, इंस्टेंस सगमेंटेशन और फेस डिटेक्शन शामिल हैं।
- एक विशिष्ट सुविधा पर्सनल ऑब्जेक्ट्स के लिए फ़ew-शॉट पाइपलाइन है जो उपयोगकर्ताओं को बाद में एगमेंटेड-रियलिटी मार्कर्स और स्पेशल ऑडियो के माध्यम से स्थान निर्धारित करने के लिए कई कोणों से वस्तुओं की तस्वीरें लेने की अनुमति देती है।
- सिस्टम Samsung Galaxy S21 Ultra पर INT8 क्वांटीज़ेशन का उपयोग करके डेप्थ लेटेंसी को लगभग 1200 ms से 491 ms तक कम करता है।
- एक कस्टम बैंकनोट डिटेक्टर mAP@50 के 0.986 प्राप्त करता है, जबकि मेट्रिक डेप्थ कैलिब्रेशन 3 मीटर की सीमा में 1 सेमी से कम त्रुटि बनाए रखती है।
कथात्मक विवरणों के लिए वैकल्पिक क्लाउड सहायता के साथ पूरी तरह से ऑन-डिवाइस संचालन करके, VisionAId मौजूदा असिस्टिव ऐप्स की सीमाओं को संबोधित करता है जो क्लाउड कनेक्टिविटी या समर्पित हार्डवेयर पर बहुत अधिक निर्भर करते हैं।