शोधकर्ताओं ने Text2Sign प्रस्तुत किया, जो एक टेक्स्ट-कंडीश्न्ड डिफ्यूजन मॉडल है जिसका डिज़ाइन सिंगल NVIDIA L4 GPU पर छोटे साइन लैंग्वेज क्लिप्स को जनरेट करने के लिए किया गया है, जिससे वीडियो डिफ्यूजन मॉडल्स के प्रशिक्षण और मूल्यांकन से जुड़ी उच्च लागतों की समस्या का समाधान होता है। सिस्टम एक फ्रोजन विज़न-लैंग्वेज टेक्स्ट एन्कोडर को 3D एन्कोडर-डीकोडर और फैक्टराइज़्ड स्पैटियोटेम्पोरल एटेंशन के साथ जोड़ता है, जिससे गणना की आवश्यकता कम होती है जबकि गति की सततता बनी रहती है।
- एक साइनर-डिस्जॉइंट How2Sign स्प्लिट पर, सबसे अच्छे शॉर्ट-रन एबलेशन ने 0.0648 का वैलिडेशन लॉस हासिल किया, जबकि एक लंबे-रन चेकपॉइंट ने 0.00999 हासिल किया।
- लंबा चेकपॉइंट 8-स्टेप DDIM सैम्पलिंग का उपयोग करते हुए $0.2403 \pm 0.0238$ का SSIM, $15.11 \pm 0.42$ dB का PSNR और $1.0000 \pm 0.0000$ की टेम्पोरल कंसिस्टेंसी हासिल करता है।
- मॉडल 3.12 GB के पीक इनफरेंस मेमोरी उपयोग के साथ 12.60 सेकंड में (प्रति सेकंड 2.54 फ्रेम) एक 32-फ्रेम, $64 \times 64$ क्लिप जनरेट करता है।
- एक हेल्ड-आउट डिनोइजिंग ऑडिट ने कमजोर प्रॉम्प्ट सेंसिटिविटी को उजागर किया, जहाँ टेक्स्ट हटाने से लेट-टाइमस्टेप लॉस 0.9875 से बढ़कर 0.9891 हो गया और शफल किए गए प्रॉम्प्ट सही प्रॉम्प्ट के समान ही प्रदर्शन करते हैं।
लेखक Text2Sign को एक सिंगल-GPU रिसर्च बेलाइन के रूप में चित्रित करते हैं, न कि एक पूर्ण उत्पादन सिस्टम के रूप में, इसके कम-रेज़ोल्यूशन और छोटे क्लिप्स तक सीमित होने और विशेषज्ञ भाषाई मूल्यांकन की अनुपस्थिति के कारण।