Penulis berbagi pengamatan tentang pemetaan dan pengarahan model lokal berdasarkan jalur aktivasi mereka selama konteks tertentu. Postingan ini menyoroti variasi dalam jalur aktivasi di berbagai model saat menjawab serangkaian prompt batch.
- Gemma 4 31b qat menunjukkan varians minimal pada jalur aktivasi.
- Gemma 4 26b qat menunjukkan varians yang ekstrem.
- Qwen 3.6 35b q_4 menunjukkan varians moderat dalam penerangan jalur aktivasi.
Penulis membandingkan jalur aktivasi ini dengan kluster saraf di pikiran manusia, menyarankan potensi untuk mengidentifikasi dan memanipulasi sifat reaktif tertentu di dalam model.