タクシーやライドシェアリングプラットフォームなどの共有モビリティサービス内で手話を使用する課題に対処するため、In-Car Sign Language (ICSL) コーパスと呼ばれる新しいマルチモーダルデータセットが導入されました。このリソースは、閉鎖された車内空間における難聴者およびろう者のコミュニティの公共交通アクセス向上を目指し、ブラジル手話 (Libras) に焦点を当てています。

  • 言語学的な基準確立のための高精度なラボモーションキャプチャデータと、2Dカメラおよび3D Time-of-Flightセンサーからの実世界マルチモーダル録音データが含まれています。
  • 様々な車載シナリオにおける Libras ユーザーの同期ストリームを含む150万フレーム以上のデータで構成されています。
  • ディープニューラルネットワークのトレーニングと評価をサポートするため、語彙手話および非語彙要素のグロッシュ注釈を提供しています。

このリソースは、合成アバターのアニメーションと実際のSigning動画との比較分析を可能にし、制約のある遮蔽環境における堅牢な手話認識モデルの基盤を提供します。