एक नया अध्ययन सुझाव देता है कि मॉडल अपने प्रशिक्षण डेटा की सापेक्ष-दूरी संरचना से मेल खाने के लिए Rotary Position Embeddings (RoPE) आवृत्तियों का चयन करते हैं, न कि उन्हें समान रूप से उपयोग करने के लिए। लेखकों ने एक क्षेत्र-रिज़ॉल्यूशन ट्रेडऑफ़ को औपचारिक किया है, यह दिखाते हुए कि इष्टतम आवृत्ति स्केल डेटा-प्रेरित निर्भरता प्रोफ़ाइल की चौड़ाई के व्युत्क्रमानुपाती होता है।
- W चौड़ाई वाली एक निर्भरता प्रोफ़ाइल के लिए, इष्टतम RoPE आवृत्ति 1/W के रूप में स्केल होती है।
- भाषा मॉडलों में मध्य-निम्न आवृत्ति बैंड प्राकृतिक भाषा की बहु-स्केल निर्भरता संरचना से उत्पन्न होते हैं।
- आवृत्तियों को नीचे स्केल करना प्रभावी क्षेत्र का विस्तार करता है लेकिन रिज़ॉल्यूशन कम करता है, जब लंबे-संदर्भ निर्भरताएं प्रशिक्षण निर्भरताओं के सन्निकटन विस्तार होती हैं तो सामान्यीकरण में मदद करती है।
- प्राकृतिक भाषा स्थानीय स्केल पर सन्निकटन आत्म-समानता प्रदर्शित करती है, जो इस बात की व्याख्या करता है कि परीक्षण-समय आवृत्ति स्केलिंग लंबे-संदर्भ सामान्यीकरण का समर्थन क्यों करती है।
परिणाम RoPE उपयोग के पीछे एक डेटा-चालित तंत्र की पहचान करते हैं और प्रदर्शित करते हैं कि लंबे-संदर्भ सामान्यीकरण सीखी गई आवृत्तियों और निर्भरताओं को लंबे संदर्भों तक कैसे फैलता है, के बीच स्केल मिलान पर निर्भर करता है।