Investigasi kausal mengenai steering logit-vokabuler pada model Qwen2-1.5B mengungkapkan bahwa koordinat terbesar dalam vektor steering tidak selalu bertanggung jawab atas efek perilaku yang diamati. Studi, yang dilakukan oleh ntrillard, menganalisis bagaimana steering logit terurut jarang memengaruhi generasi token dan mengidentifikasi komponen struktural spesifik yang mendorong perubahan tersebut.
- Transport (pembuatan kata target) muncul sekitar K≈150 dan bertahan hingga K≈300, dengan K=200 sebagai titik kesesuaian maksimum tetapi bukan optimum perilaku unik.
- Proyeksi baris murni(W) (λ=1) menunjukkan nol transport di seluruh 30 benih, sementara setiap kondisi λ<1 mempertahankan komponen luar-baris yang tidak nol dan menunjukkan beberapa transport.
- Efek ini diidentifikasi sebagai paksaan leksikal daripada transport semantik; meningkatkan tetangga leksikal top-200 menghasilkan 27/30 transport, sedangkan tetangga semantik tanpa peningkatan menghasilkan 0/30.
- Menghapus satu-satunya koordinat terbesar tidak menghilangkan efek tersebut, menunjukkan tidak ada koordinat penopang tunggal yang ada dalam vektor steering.
- Menghitung ulang vektor secara dinamis per awalan atau konteks diri hampir tidak mengubah vektor dan tidak meningkatkan kinerja dibandingkan vektor statis.
Temuan ini menunjukkan bahwa interaksi antara identitas koordinat dan magnitudo terurut sangat penting untuk keberhasilan steering, menantang asumsi tentang komponen vektor mana yang mendorong perilaku model.