ResonatorLM mengganti perhatian dengan pencampuran medan resonan kausal untuk pemodelan konteks panjang yang efisien

Para peneliti memperkenalkan ResonatorLM, mekanisme baru yang mengganti self-attention dengan alternatif berbasis fisika yang memperlakukan urutan token sebagai bidang laten satu dimensi yang didorong. Pendekatan ini menggunakan fungsi kausal dari resonator teredam untuk meningkatkan efisiensi dalam memproses konteks panjang.

Dalam pengaturan parameter kecil 6M, model mencapai percepatan decode 6,47x dibandingkan dengan transformer yang dioptimalkan pada 32K token. Model juga mencapai akurasi 61,31 persen pada WikiText, melampaui baseline sebesar 55,32 persen.

ResonatorLM menunjukkan bahwa mengganti perhatian dengan pencampuran medan resonan dapat secara signifikan meningkatkan percepatan pelatihan dan prefill seiring bertambahnya panjang urutan sambil mempertahankan akurasi yang kompetitif.