택시 및 라이드셰어링 플랫폼과 같은 공유 모빌리티 서비스 내에서 수화를 사용하는 과제를 해결하기 위해 In-Car Sign Language (ICSL) 코퍼스라고 불리는 새로운 멀티모달 데이터셋이 도입되었습니다. 이 리소스는 제한된 차량 내부 환경에서 난청 및 청각 장애인 커뮤니티의 대중교통 접근성을 개선하기 위해 브라질 수화(Libras)에 중점을 둡니다.
- 언어학적 기준을 확립하기 위한 고정밀 실험실 모션 캡처 데이터와 2D 카메라 및 3D Time-of-Flight 센서로부터의 실제 환경 멀티모달 녹음이 포함되어 있습니다.
- 다양한 차량 내 시나리오에서 Libras 사용자의 동기화된 스트림이 포함된 150만 프레임 이상의 데이터를 포함합니다.
- 딥 뉴럴 네트워크의 훈련과 평가를 지원하기 위해 어휘 수화 및 비어휘 요소에 대한 글로시 주석을 제공합니다.
이 리소스는 합성 아바타 애니메이션과 실제 수화 영상 간의 비교 분석을 가능하게 하여, 제한되고 가려진 환경에서 견고한 수화 인식 모델의 기반을 제공합니다.