Abliteration pelestarian norm pada Qwen3.6-35B-A3B mencapai penolakan 0% dengan benchmark tetap utuh

Seorang pengguna menerapkan abliteration biprojection pelestarian norm pada model Qwen3.6-35B-A3B, mencapai tingkat penolakan 0% pada set uji yang diisolasi sambil mempertahankan benchmark matematika dan kode tetap utuh.

Teknik ini mengortogonalisasi baris bobot terhadap arah penolakan dan menskalanya kembali ke norm L2 aslinya, mencegah degradasi benchmark yang disebabkan oleh abliteration biasa. Penulis menangani tantangan spesifik dalam arsitektur Hibrida Mixture of Experts, termasuk penanganan lapisan self-attention campuran dan linear attention, serta penerapan proyeksi melalui einsum pada tensor ahli 3D.

Karya ini mencakup dataset berbahaya kaya sumber terbuka dengan 7.356 prompt di seluruh 35 kategori dan menyediakan checkpoint model serta kode untuk mereproduksi hasil.