Un nouveau jeu de données multimodal appelé corpus In-Car Sign Language (ICSL) a été introduit pour relever les défis liés à l'utilisation de la langue des signes dans les services de mobilité partagée tels que les taxis et les plateformes de covoiturage. Cette ressource se concentre sur la Langue des Signes Brésilienne (Libras) afin d'améliorer l'accessibilité des transports publics pour la communauté sourde et malentendante à l'intérieur de véhicules confinés.
- Le jeu de données comprend des données de capture de mouvement en laboratoire de haute précision pour établir une base linguistique, ainsi que des enregistrements multimodaux du monde réel provenant de caméras 2D et de capteurs Time-of-Flight 3D.
- Il comprend plus de 1,5 million d'images de flux synchronisés mettant en scène des utilisateurs de Libras dans divers scénarios en voiture.
- Le corpus fournit des annotations gloss pour les signes lexicaux et les éléments non lexicaux afin de soutenir l'entraînement et l'évaluation des réseaux neuronaux profonds.
Cette ressource permet des analyses comparatives entre les animations d'avatars synthétisés et les vidéos de langue des signes réelles, fournissant une base pour des modèles robustes de reconnaissance de la langue des signes dans des environnements contraints et occultés.