Para peneliti menyelidiki apakah bobot individu dalam jaringan saraf dapat dipahami secara global di seluruh distribusi pelatihan dengan mengkarakterisasi kapan bobot tersebut penting. Mereka memperkenalkan pipeline LLM otomatis yang menghasilkan dan memverifikasi deskripsi yang dapat dibaca manusia dari fungsi bobot pada teks yang dipisahkan.

  • Studi ini membandingkan dua transformer jarang dan dua transformer padat untuk mengukur fraksi bobot yang dapat diinterpretasikan.
  • Fraksi bermakna dari bobot model transformer jarang dapat diinterpretasikan, dengan 12 hingga 31% memiliki deskripsi pendek tunggal yang mengidentifikasi penggunaannya.
  • Kesenjangan interpretasi antara model jarang dan padat melebar ketika deskripsi yang tidak dapat diandalkan dibuang.

Hasilnya menunjukkan bahwa parameter individu dalam transformer jarang lebih mudah diinterpretasikan secara mekanistik daripada yang ada pada arsitektur padat.