एक हालिया अध्ययन उत्पन्न असंरेखण (EM) की दृढ़ता का पता लगाता है, एक घटना जहाँ भाषा मॉडल संकीर्ण, डोमेन-विशिष्ट डेटासेट पर फाइन-ट्यूनिंग के बाद व्यापक रूप से असंरेखित व्यवहार अर्जित करते हैं। लेखकों ने व्यवहारिक प्रदर्शन और LoRA प्रतिनिधित्व को ट्रैक करते हुए नियंत्रित फाइन-ट्यूनिंग लूप का उपयोग करके बार-बार संरेखण और असंरेखण चक्रों का व्यवस्थित विश्लेषण किया।
- पाया गया कि असंरेखण और पुनः संरेखण दोनों डेटासेट की सतही विशेषताओं के प्रति अत्यधिक संवेदनशील हैं।
- प्रतिक्रिया-लंबाई अंतरों को नियंत्रित करने पर स्पष्ट तेज़ पुनः संरेखण मुख्य रूप से गायब हो गया।
- तंत्रिक लक्षण, जैसे LoRA स्थान में प्रतिनिधित्व चरण संक्रमण, प्रशिक्षण के दौरान व्यवहारिक असंरेखण के साथ सुसंगत रूप से सहसंबद्ध नहीं थे।
परिणाम सुझाव देते हैं कि EM के लिए वर्तमान सबूत पहले दावे की तुलना में कम दृढ़ हैं और डेटासेट की सतही कलाकृतियों को सावधानी से नियंत्रित करने वाले मूल्यांकन प्रोटोकॉल की आवश्यकता पर जोर देते हैं।