Un utilisateur applique une abliteration par biprojection préservant la norme au modèle Qwen3.6-35B-A3B, atteignant un taux de refus de 0 % sur un ensemble de test isolé tout en conservant les benchmarks de mathématiques et de code intacts.
La technique orthogonalise les lignes de poids par rapport à la direction du refus et les redimensionne à leur norme L2 originale, empêchant la dégradation des benchmarks causée par l'abliteration vanilla. L'auteur aborde des défis spécifiques dans l'architecture hybride Mixture of Experts, notamment la gestion des couches d'auto-attention mixte et de linear attention, et l'application de projections via einsum sur des tenseurs experts 3D.
Le travail comprend un jeu de données nuisibles enrichi open-source avec 7 356 invites à travers 35 catégories et fournit des points de contrôle du modèle et du code pour reproduire les résultats.