Google DeepMind와 Android는 수화 AI를 소비자 제품에 최초로 도입하는 대규모 다국어 수화-텍스트(SL2T) 번역 모델인 SL2T를 선보였습니다. 이 기술은 Pixel 11의 Gboard 및 Live Transcribe에서 수화-텍스트 음성 입력을 지원하며, 미국 수화(ASL)에서 영어로의 번역으로 시작됩니다.
- SL2T는 50개 이상의 수화 언어에 걸쳐 10만 시간 이상의 데이터로 학습되었으며, FLEURS-ASL 벤치마크에서 제로샷 점수 70 BLEURT를 달성했습니다.
- 이 모델은 MediaPipe Holistic이 추적하는 자세 랜드마크 좌표에서 직접 번역하여 중간 글로스를 건너뛰고 비수동적 마커와 공간 구조를 포착합니다.
- 서버에는 기하학적 좌표만 전송되므로 원본 비디오 데이터를 즉시 폐기할 수 있어 프라이버시가 유지됩니다.
- 이 시스템은 스트리밍 지연, 환각 방지, 왼손잡이 또는 한 손 화자의 성능 등 실용적인 사용성 문제를 해결합니다.
이번 출시는 모바일 기기에서 더 빠르고 자연스러운 상호작용을 가능하게 함으로써 청각 장애인과 비청각 장애인 간의 소통 격차를 해소하는 것을 목표로 합니다. 책임감 있는 배포와 문화적 민감성을 보장하기 위해 AI 수화 자문 위원회(AISLAC)의 지도 아래 개발되었습니다.