Новый мультимодальный датасет, корпус In-Car Sign Language (ICSL), был представлен для решения проблем использования жестового языка в сервисах совместной мобильности, таких как такси и платформы каршеринга. Ресурс ориентирован на бразильский жестовый язык (Libras) с целью улучшения доступности общественного транспорта для глухой и слабослышащей аудитории внутри тесного салона автомобиля.
- Датасет включает высокоточные данные захвата движений из лаборатории для установления лингвистической базы, а также записи в реальных условиях в мультимодальном формате с 2D-камер и 3D-датчиков времени пролета (Time-of-Flight).
- Он содержит более 1,5 миллиона кадров синхронизированных потоков с участием пользователей Libras в различных сценариях нахождения в автомобиле.
- Корпус предоставляет глоссарные аннотации для лексических знаков и нелексических элементов, чтобы поддерживать обучение и оценку глубоких нейронных сетей.
Этот ресурс позволяет проводить сравнительный анализ между синтезированными анимациями аватаров и реальными видео с жестами, создавая основу для надежных моделей распознавания жестового языка в ограниченных пространствах с частичным перекрытием.