أعلنت جوجل ديب مايند وأندرويد عن إطلاق SL2T، وهو نموذج ترجمة ضخم متعدد اللغات من لغة الإشارة إلى النص (SL2T)، يُدخل ذكاء اصطناعي خاصًا بلغة الإشارة إلى المنتجات الاستهلاكية لأول مرة. تعمل هذه التقنية على إملاء تحويل الإشارات إلى نص في Gboard وLive Transcribe على أجهزة Pixel 11، بدءًا من لغة الإشارة الأمريكية (ASL) إلى الإنجليزية.
- تم تدريب SL2T على أكثر من 100,000 ساعة من البيانات عبر أكثر من 50 لغة إشارة، محققًا درجة zero-shot تبلغ 70 BLEURT في معايير FLEURS-ASL.
- يترجم النموذج مباشرة من إحداثيات نقاط الارتكاز الموضعية التي يتعقبها MediaPipe Holistic، متجاوزًا المعاجم الوسيطة (glosses) لالتقاط العلامات غير اليدوية والتراكيب المكانية.
- يتم الحفاظ على الخصوصية عن طريق إرسال الإحداثيات الهندسية فقط إلى الخادم، مما يسمح بالتخلص من بيانات الفيديو الأصلية فورًا.
- يعالج النظام قضايا قابلية الاستخدام العملية مثل زمن التأخير في البث المباشر، ومنع الهلوسة (hallucination)، والأداء بالنسبة للمُشارِكين باليد اليسرى أو الذين يستخدمون يدًا واحدة.
يهدف الإصدار إلى سد فجوة التواصل بين مجتمع الصم ومجتمع السامعين من خلال تمكين تفاعل أسرع وأكثر طبيعية على الأجهزة المحمولة. وقد أُرشِد التطوير بواسطة اللجنة الاستشارية للذكاء الاصطناعي الخاصة بلغة الإشارة (AISLAC) لضمان النشر المسؤول والحساسية الثقافية.