يقدم الباحثون Text2Sign، وهو نموذج انتشار مشروط بالنص مصمم لتوليد مقاطع قصيرة من لغة الإشارة على وحدة معالجة رسومات NVIDIA L4 واحدة، مما يعالج التكاليف المرتفعة المرتبطة بتدريب وتقييم نماذج الانتشار المرئية. يجمع النظام بين مُشفّر نصي للرؤية واللغة مجمّد مع مُشفّر-مُفكّك ثلاثي الأبعاد وانتباه مكاني-زمني مُفكّك لتقليل المتطلبات الحسابية مع الحفاظ على تماسك الحركة.
- على تقسيم How2Sign غير المشترك للمُشيرين، وصل أفضل استقراء قصير إلى فقدان تحقق بقيمة 0.0648، بينما حقق نقطة تفتيش أطول قيمة 0.00999.
- حقّق النقطة التفتيشية الأطول معامل تناسق هيكلي (SSIM) بمقدار $0.2403 \pm 0.0238$، ونسبة إشارة إلى ضجيج (PSNR) بمقدار $15.11 \pm 0.42$ ديسيبل، واتساقاً زمنياً مقداره $1.0000 \pm 0.0000$ باستخدام أخذ عينات DDIM بـ 8 خطوات.
- يولّد النموذج مقطعاً مكوناً من 32 إطاراً وحجمه $64 \times 64$ في 12.60 ثانية (2.54 إطار في الثانية) مع استخدام ذروة للذاكرة أثناء الاستدلال مقداره 3.12 جيجابايت.
- كشف تدقيق إزالة الضجيز على مجموعة محفوظة عن حساسية ضعيفة للمطالبة، حيث أدت إزالة النص إلى زيادة فقدان الخطوة الزمنية المتأخرة من 0.9875 إلى 0.9891، وأداء المطالبات المخلوطة بشكل مشابه للمطالبات الصحيحة.
يصف المؤلفون Text2Sign بأنه خط أساس بحثي على وحدة معالجة رسومات واحدة وليس نظام إنتاجاً كاملاً بسبب قيوده على المقاطع قصيرة الدقة والموجزة، وعدم وجود تقييم لغوي من قبل خبراء.