一个新的多模态数据集——车载手语(In-Car Sign Language, ICSL)语料库——已被推出,旨在解决出租车和网约车等共享出行服务中使用手语所面临的挑战。该资源专注于巴西手语(Libras),以改善聋人和听障人士在狭窄车厢内部的公共交通可及性。

  • 该数据集包括用于建立语言基线的高精度实验室动作捕捉数据,以及来自2D相机和3D飞行时间(Time-of-Flight)传感器的真实世界多模态录音。
  • 它包含超过150万帧同步流,展示了在各种车内场景中的Libras用户。
  • 该语料库为词汇符号和非词汇元素提供了词GLOSS注释,以支持深度神经网络的训练和评估。

该资源使得合成头像动画与真实手语视频之间的比较分析成为可能,为在受限、遮挡环境中构建鲁棒的手语识别模型奠定了基础。