DiaLLM अध्ययन से पता चलता है कि बड़े भाषा मॉडलों में बौलीगत दृढ़ता और जनरेशन अलग हैं, क्योंकि निरंतर प्रीट्रेनिंग द्वारा आकार दिए गए बेंचमार्क यह नहीं पकड़ते कि एलाइनमेंट वास्तविक आउटपुट को कैसे बदलता है। लेखकों ने अंतर्राष्ट्रीय अंग्रेजी कॉर्पस (International Corpus of English) पर तीन ओपन-वेट मॉडल परिवारों का निरंतर प्रीट्रेनिंग किया और ऑस्ट्रेलियाई, भारतीय और उत्तरी ब्रिटिश अंग्रेजी के लिए तीन एलाइनमेंट रणनीतियों के साथ अंतर्निहित और स्पष्ट पोस्ट-ट्रेनिंग पैराडाइम लागू किए।
- स्पष्ट वैरायटी-लक्ष्य अनुकूलन ऐसा आउटपुट उत्पन्न करता है जिसे विश्वसनीय रूप से बौलीगत माना जाता है और व्यापक एलाइनमेंट पर प्राथमिकता दी जाती है।
- वह विधि जो बौलीगत पुरस्कार को सबसे अधिक आक्रामक रूप से अनुकूलित करती है, मनुष्य मूल्यांकनकर्ताओं द्वारा प्राथमिकता नहीं दी गई, जो पुरस्कार-गुणवत्ता अंतर को संकेत देता है।
- स्वतंत्र भाषाई विश्लेषण इस अंतर की पुष्टि करता है, विशेष रूप से तीन मॉडल परिवारों में से दो के लिए।
- कोई एक एलाइनमेंट विधि प्रभावी नहीं है, जो यह सुझाव देता है कि अंतर को बंद करने के लिए अधिक समृद्ध पुरस्कार डिज़ाइन की आवश्यकता है।
लेखकों ने बौलीगत संसाधनों पर आगे शोध का समर्थन करने के लिए सभी कोड, चेकपॉइंट्स और प्राथमिकता डेटासेट जारी किए हैं।