लेख दिखाता है कि संरचित मेटाडेटा प्रणालियों में पुनर्प्राप्ति गुणवत्ता पर क्षेत्र क्रम का महत्वपूर्ण प्रभाव पड़ता है क्योंकि मानक फाइन-ट्यूनिंग एन्कोडर्स को पूर्ण स्थान के बजाय क्षेत्र लेबल पर निर्भर करवाती है। इसका समाधान करने के लिए, लेखकों ने Permutation-Invariant Fine-Tuning (PI-FT) का प्रस्ताव रखा है, एक विधि जो यादृच्छिक रूप से नमूना किए गए क्षेत्र क्रम के तहत रिकॉर्ड को सीरियलाइज़ करती है और अर्थ को लेबल से बांधने के लिए ड्रॉआउट का उपयोग करती है।
- जब इंडेक्स क्षेत्र क्रम बदलता है तो मानक फाइन-ट्यूनिंग में 7.4 nDCG@10 बिंदुओं की कमी आती है, जबकि PI-FT इस हानि को 0.2 बिंदु तक कम कर देता है।
- यह दृष्टिकोण एक डेटा लोडर संशोधन का उपयोग करता है जो ताज़ा क्षेत्र क्रम नमूना करता है और प्रशिक्षण के दौरान यादृच्छिक क्षेत्र ड्रॉआउट लागू करता है।
- फाइन-ट्यून्ड 118M-पैरामीटर CPU एन्कोडर नए DevDataBench पर 0.707 nDCG@10 प्राप्त करता है, जो text-embedding-3-large (0.556) जैसे जीरो-शॉट बेलाइनों से बेहतर प्रदर्शन करता है।
- यह बेंचमार्क लगभग 10,000 विकास सांख्यिकी संकेतकों के लिए 15 भाषाओं में ग्राउंडेड क्वेरीज़ को कवर करता है।
यह विधि सुनिश्चित करती है कि पुनर्प्राप्त योग्य डेटा स्कीमा भिन्नताओं से स्वतंत्र रूप से खोजने योग्य रहे, जो उन AI एजेंट्स के लिए महत्वपूर्ण है जो सार्वजनिक सांख्यिकियों तक पहुँच को मध्यस्थ करते हैं जहाँ उपयोग लॉग अखोजे गए संकेतकों के लिए प्रशिक्षण सिग्नल प्रदान नहीं कर सकते।