Sebuah studi baru mengusulkan bahwa frekuensi Rotary Position Embeddings (RoPE) dipilih oleh model untuk mencocokkan struktur jarak relatif dari data pelatihan mereka, alih-alih digunakan secara seragam. Penulis memformalkan tradeoff resolusi bidang, menunjukkan bahwa skala frekuensi optimal berbanding terbalik dengan lebar profil ketergantungan yang diinduksi data.
- Untuk profil ketergantungan dengan lebar W, frekuensi RoPE optimal berskala sebagai 1/W.
- Pita frekuensi menengah-rendah dalam model bahasa muncul dari struktur ketergantungan multi-skala bahasa alami.
- Menurunkan frekuensi memperluas bidang efektif tetapi mengurangi resolusi, membantu generalisasi ketika ketergantungan konteks panjang merupakan dilasi perkiraan dari ketergantungan pelatihan.
- Bahasa alami menunjukkan keserupaan-diri perkiraan di seluruh skala posisi, yang menjelaskan mengapa penskalaan frekuensi saat pengujian mendukung generalisasi konteks panjang.
Hasil-hasil ini mengidentifikasi mekanisme berbasis data di balik penggunaan RoPE yang muncul dan menunjukkan bahwa generalisasi konteks panjang bergantung pada pencocokan skala antara frekuensi yang dipelajari dan bagaimana ketergantungan meluas ke konteks yang lebih panjang.