تم تقديم مجموعة بيانات متعددة الوسائط جديدة تسمى مجمع In-Car Sign Language (ICSL) لمعالجة تحديات استخدام لغة الإشارة في خدمات التنقل المشترك مثل سيارات الأجرة ومنصات مشاركة الرحلات. يركز هذا المورد على لغة الإشارة البرازيلية (Libras) لتحسين إمكانية الوصول إلى النقل العام لمجتمع الصم وضعاف السمع داخل مقصورات السيارات المغلقة.
- تتضمن مجموعة بيانات لقطات حركة مخبرية عالية الدقة لإرساء أساس لغوي، وتسجيلات متعددة الوسائط من العالم الحقيقي من كاميرات 2D وأجهزة استشعار Time-of-Flight ثلاثية الأبعاد.
- تتكون من أكثر من 1.5 مليون إطار من التدفقات المتزامنة التي تعرض مستخدمين لـ Libras في سيناريوهات مختلفة داخل السيارة.
- يوفر المجمع تعليقات توضيحية (gloss annotations) للإشارات المعجمية والعناصر غير المعجمية لدعم تدريب وتقييم الشبكات العصبية العميقة.
يتيح هذا المورد تحليلات مقارنة بين رسوم متحركة للأفاتار المُصنَّعة ومقاطع فيديو لغة الإشارة الحقيقية، مما يوفر أساسًا لنماذج قوية للتعرف على لغة الإشارة في بيئات مقيدة ومغلقة.