शोधकर्ता Trajectory-Aware Commit Gating (TACG) का प्रस्ताव करते हैं, जो डिफ्यूजन लैंग्वेज मॉडल के लिए एक ट्रेनिंग-फ्री डिकोडर है जो टोकन कमिटमेंट निर्णयों को बेहतर बनाने के लिए भविष्यसूचक वितरण की ट्रैजेक्टरी का उपयोग करता है। TACG टोकन पहचानों को बेस पोस्टेरियर से एंकर करता है और केवल एक प्रस्ताव के कमिट करने के लिए तैयार है या नहीं, यह निर्धारित करने के लिए ट्रैजेक्टरी-अवेयर सिग्नल का उपयोग करता है, आत्मविश्वास और तैयारी के मिश्रण से बचते हुए।
- विधि Temporal Implicit Logits Guidance (TILG) को एक इतिहास गेट (HG) के साथ जोड़ती है, जो वर्तमान लॉगिट्स के खिलाफ पिछले लॉगिट्स का घातांकीय मूविंग एवरेज बनाए रखता है और प्रस्तावों की अल्पकालिक स्थिरता को लागू करता है।
- एक सीमित अतिरिक्त-प्रमोशन बजट का उपयोग सहायक नेटवर्क या अतिरिक्त फॉरवर्ड पास की आवश्यकता के बिना स्थिरता-बद्ध कमिट नियम बनाने के लिए किया जाता है।
- कोड (HumanEval, MBPP) और गणित (GSM8K, MATH500) बेंचमार्क पर LLaDA, Dream और LLaDA2-Mini पर मूल्यांकन दिखाते हैं कि TACG आमतौर पर डीनोइजिंग चरणों को कम करते हुए सटीकता को बेहतर बनाता या बनाए रखता है और फॉरवर्ड प्रति टोकन बढ़ाता है।
यह दृष्टिकोण डिफ्यूजन लैंग्वेज मॉडल को अतिरिक्त कंप्यूटेशनल ओवरहेड के बिना अधिक स्थिर डिकोडिंग के लिए अपनी आंतरिक ट्रैजेक्टरी डेटा का लाभ उठाने की अनुमति देता है।