Para peneliti berhasil memisahkan representasi internal dari pengetahuan kemampuan pemecahan matematika dan verbalisasi di dalam model bahasa besar, menunjukkan bahwa keduanya dikodekan sebagai vektor yang berbeda dan dapat didekode secara linear. Studi ini mengungkapkan bahwa fabrikasi model terutama didorong oleh perubahan dalam verbalisasi daripada pengetahuan mendasarnya.
- Pengetahuan dan verbalisasi diidentifikasi sebagai arah laten terpisah dalam keadaan tersembunyi model di berbagai LLM.
- Fabrikasi berkorelasi dengan pergeseran dalam representasi verbalisasi daripada pengetahuan kemampuan pemecahan yang mendasar.
- Prompting dengan petunjuk ketidakmampuan memecahkan masalah mengurangi fabrikasi dengan menggeser arah verbalisasi.
- Steering aktivasi dapat memanipulasi representasi ini secara mekanis untuk meningkatkan abstensi model.
Karya ini memungkinkan analisis dan manipulasi independen dari keyakinan kemampuan pemecahan, memungkinkan kontrol yang lebih efektif atas kapan model harus abstain dari menjawab.