Google DeepMind और Android ने SL2T पेश किया, एक अत्यधिक बहुभाषी साइन-लैंग्वेज-टू-टेक्स्ट (SL2T) अनुवाद मॉडल जो पहली बार उपभोक्ता उत्पादों में साइन लैंग्वेज AI लाता है। यह तकनीक Pixel 11 पर Gboard और Live Transcribe में साइन-टू-टेक्स्ट डिक्टेशन को संचालित करती है, जिसमें अमेरिकी साइन लैंग्वेज (ASL) से अंग्रेजी शुरू होती है।
- SL2T को 50 से अधिक साइन भाषाओं में 100,000 घंटों से अधिक डेटा पर प्रशिक्षित किया गया है, जिसने FLEURS-ASL बेंचमार्क पर 70 BLEURT का जीरो-शॉट स्कोर प्राप्त किया।
- मॉडल MediaPipe Holistic द्वारा ट्रैक किए गए पोज लैंडमार्क निर्देशांक से सीधे अनुवाद करता है, गैर-मान्य चिह्नों और स्थानिक संरचनाओं को पकड़ने के लिए मध्यवर्ती ग्लॉसेस को छोड़ देता है।
- गोपनीयता को बनाए रखने के लिए सर्वर पर केवल ज्यामितीय निर्देशांक भेजे जाते हैं, जिससे मूल वीडियो डेटा तुरंत फेंक दिया जाता है।
- सिस्टम बाएं हाथ वाले या एक हाथ से संकेत देने वालों के लिए प्रवाह अल्पविषयता, हॉलुसिनेशन रोकथाम और प्रदर्शन जैसे व्यावहारिक उपयोगिता मुद्दों को संबोधित करता है।
रिलीज का उद्देश्य मोबाइल उपकरणों पर तेज़ और अधिक प्राकृतिक इंटरैक्शन सक्षम बनाकर बहरे और सामान्य श्रवण समुदायों के बीच संचार की खाई को पाटना है। जिम्मेदार तैनाती और सांस्कृतिक संवेदनशीलता सुनिश्चित करने के लिए विकास AI साइन लैंग्वेज एडवाइजरी कमेटी (AISLAC) के मार्गदर्शन में किया गया।