साझा मोबिलिटी सेवाओं जैसे टैक्सी और राइड-शेयरिंग प्लेटफॉर्म में साइन लैंग्वेज का उपयोग करने की चुनौतियों को दूर करने के लिए इन-कार साइन लैंग्वेज (ICSL) कॉर्पस नामक एक नया मल्टी-मोडल डेटासेट पेश किया गया है। संसाधन सीमित वाहन के अंदर बहरे और कम सुनने वाले समुदाय के लिए सार्वजनिक परिवहन की पहुंच को बेहतर बनाने के लिए ब्राज़ीलियन साइन लैंग्वेज (Libras) पर केंद्रित है।
- डेटासेट में एक भाषिक आधार स्थापित करने के लिए उच्च-सटीक प्रयोगशाला मोशन कैप्चर डेटा और 2D कैमरों और 3D टाइम-ऑफ-फ्लाइट सेंसर से वास्तविक दुनिया के मल्टी-मोडल रिकॉर्डिंग शामिल हैं।
- इसमें विभिन्न इन-कार परिदृश्यों में Libras उपयोगकर्ताओं वाले सिंकस्ट्रीम्स के 1.5 मिलियन से अधिक फ्रेम शामिल हैं।
- गहरी न्यूरल नेटवर्क के प्रशिक्षण और मूल्यांकन का समर्थन करने के लिए, कॉर्पस में लेक्सिकल संकेतों और गैर-लेक्सिकल तत्वों के लिए ग्लॉस एनोटेशन प्रदान किए गए हैं।
यह संसाधन संश्लेषित अवतार एनिमेशन और वास्तविक साइन वीडियो के बीच तुलनात्मक विश्लेषण को सक्षम बनाता है, जिससे सीमित और अवरुद्ध वातावरण में मजबूत साइन लैंग्वेज पहचान मॉडलों के लिए एक आधार प्रदान होता है।