Para peneliti mengusulkan penggunaan metrik berbasis bentuk spektral yang diturunkan dari teori Regularisasi Diri Ekor Berat (Heavy-Tailed Self-Regularization) untuk mengatasi tantangan dalam mengelola dan mengkuantifikasi model bahasa besar secara skala. Pendekatan ini memanfaatkan informasi bentuk dari densitas spektral empiris bobot sebagai tanda tangan kompak yang menangkap sifat intrinsik model pra-pelatihan sambil tetap robust selama pasca-pelatihan.
- Metrik ini bebas data, efisien secara komputasi, dan invarian skala, memungkinkan analisis skala besar yang praktis.
- Sebuah korpus kurasi dari keluarga LLM open-source utama digunakan untuk membandingkan metrik spektral dan non-spektral di seluruh model dan tugas turunan.
- Tanda tangan spektral mendukung pelacakan garis keturunan model, pengelompokan tak terawasi model serupa, dan kuantifikasi kinerja model.
Metode yang diusulkan memberikan proksi yang bermakna untuk tren kinerja luas, memungkinkan organisasi, perbandingan, dan analisis koleksi model besar secara efisien.