تقترح دراسة جديدة أن ترددات التضمين الموضعي الدائري (RoPE) يتم اختيارها بواسطة النماذج لتتناسب مع بنية المسافة النسبية لبيانات التدريب الخاصة بها، بدلاً من استخدامها بشكل موحد. يقوم المؤلفون بصياغة مقايضة دقة المجال، مما يظهر أن مقاييس التردد المثلى تتناسب عكسياً مع عرض ملف تعريف الاعتماد المستحث بالبيانات.
- بالنسبة لملف تعريف اعتماد بعرض W، يتغير تردد RoPE الأمثل بنسبة 1/W.
- تنشأ نطاقات التردد المنخفضة والمتوسطة في نماذج اللغة من بنية الاعتماد متعددة المقاييس للغة الطبيعية.
- يؤدي خفض الترددات إلى توسيع المجال الفعال ولكن يقلل الدقة، مما يساعد على التعميم عندما تكون اعتماديات السياق الطويل تمددات تقريبية لاعتماديات التدريب.
- تظهر اللغة الطبيعية تشابهاً ذاتياً تقريبياً عبر المقاييس الموضعية، وهو ما يفسر سبب دعم قياس التردد أثناء الاختبار للتعميم طويل السياق.
تحديد النتائج آلية مدفوعة بالبيانات وراء الاستخدام الناشئ لـ RoPE وتوضح أن التعميم طويل السياق يعتمد على مطابقة المقاييس بين الترددات المتعلمة وكيفية امتداد الاعتماديات إلى سياقات أطول.