Specific Labs mengarahkan Gemma-4-31B untuk menolak premis palsu tanpa dampak pada benchmark

Specific Labs telah merilis Gemma-4-31B-AntiHal, varian dari model Gemma-4-31B yang menantang permintaan berdasarkan premis palsu daripada berhalusinasi mengikuti premis tersebut. Model ini mencapainya melalui steering representasi berbasis interpretabilitas yang diterapkan pada aliran residual selama generasi.

• Teknik ini menambahkan arah perbedaan rata-rata ke aliran residual lapisan 33, menggunakan jadwal peluruhan yang menerapkan kekuatan penuh untuk ~24 token pertama sebelum memudar.
• Pada benchmark anti-hallusinasi HalBench, AntiHal mencetak skor penolakan 26% dibandingkan dengan skor model dasar, mewakili sekitar dua kali lipat kinerja.
• Kinerja benchmark tetap largely tidak terpengaruh, dengan MATH-500 di 77% dan LiveCodeBench di 55%, sesuai dengan kemampuan model dasar.
• Pendekatan ini diuji pada Qwen 3.6 27B dan Granite 4.1 30B, tetapi hanya Gemma yang berhasil menahan steering secara efektif tanpa rusak atau menjadi tidak koheren.

Para penulis memposisikan ini sebagai metode bagi model untuk mempertahankan pengetahuannya alih-alih bertindak sebagai filter keamanan, menyediakan checkpoint open-source yang dapat dimuat melalui library transformers.