एक अन्वेषणात्मक अध्ययन दिखाता है कि बड़े भाषा मॉडल दोनों के लिए एक ही नेक्स्ट-टोकन पूर्वानुमान तंत्र का उपयोग करने के बावजूद, भाषा उत्पादन और संवेदन के बीच कार्यात्मक असममिति प्रदर्शित करते हैं। शोधकर्ताओं ने टोकन प्रायिकताओं को सीधे मापकर पाया कि केवल डिकोडर-ओनली आर्किटेक्चर में प्रॉम्प्ट फ्रेमिंग अलग-अलग प्रायिकता वितरण उत्पन्न करती है।
- बेस Llama-3.1-8B मॉडल का उपयोग करते हुए, अध्ययन ने उत्पादन प्रॉम्प्ट के तहत कविताएँ उत्पन्न कीं और संवेदन-उन्मुख प्रॉम्प्ट के तहत उन्हें पुनः स्कोर किया।
- उत्पादन-संवेदन दूरियाँ लगातार उत्पादन-उत्पादन दूरियों से अधिक थीं, जिसका समग्र औसत अनुपात लगभग 1.8 था।
- यह प्रभाव पांच ओपन-वेट मॉडल में दोहराया गया: Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, और Qwen2.5-7B-Instruct।
- समय विश्लेषण ने दिखाया कि संवेदन प्रॉम्प्ट का प्रभाव अनुक्रम के शुरुआत में सबसे मजबूत होता है, जैसे-जैसे उत्पन्न संदर्भ जमा होता जाता है, विचलन क्षय हो जाता है।
ये निष्कर्ष सुझाव देते हैं कि संचार फ्रेमिंग LLMs द्वारा जानकारी कैसे प्रक्रिया की जाती है, इस पर महत्वपूर्ण प्रभाव डालता है, पाठ उत्पन्न करने और उसका मूल्यांकन करने के बीच भेद करता है।