Google DeepMind dan Android telah memperkenalkan SL2T, sebuah model terjemahan bahasa isyarat ke teks (SL2T) yang sangat multibahasa yang membawa AI bahasa isyarat ke produk konsumen untuk pertama kalinya. Teknologi ini menggerakkan dikte dari isyarat ke teks di Gboard dan Live Transcribe pada Pixel 11, dimulai dengan American Sign Language (ASL) ke bahasa Inggris.
- SL2T dilatih pada lebih dari 100.000 jam data di lebih dari 50 bahasa isyarat, mencapai skor zero-shot sebesar 70 BLEURT pada benchmark FLEURS-ASL.
- Model ini menerjemahkan langsung dari koordinat landmark pose yang dilacak oleh MediaPipe Holistic, melewati glossa perantara untuk menangkap penanda non-manual dan konstruksi spasial.
- Privasi dijaga dengan hanya mengirimkan koordinat geometris ke server, memungkinkan data video asli dibuang segera.
- Sistem ini mengatasi masalah kegunaan praktis seperti latensi streaming, pencegahan halusinasi, dan kinerja untuk pengguna yang kidal atau menggunakan satu tangan.
Peluncuran ini bertujuan menjembatani kesenjangan komunikasi antara komunitas tunarungu dan pendengar dengan memungkinkan interaksi yang lebih cepat dan alami pada perangkat seluler. Pengembangan dipandu oleh AI Sign Language Advisory Committee (AISLAC) untuk memastikan penyebaran yang bertanggung jawab dan sensitivitas budaya.