Um usuário aplica abliteração com biprojeção e preservação de norma ao modelo Qwen3.6-35B-A3B, alcançando uma taxa de recusa de 0% em um conjunto de teste retido enquanto mantém os benchmarks de matemática e código intactos.
A técnica ortogonaliza as linhas de pesos contra a direção de recusa e as reescala para sua norma L2 original, prevenindo a degradação do benchmark causada pela abliteração padrão. O autor aborda desafios específicos na arquitetura híbrida Mixture of Experts, incluindo o tratamento de camadas mistas de autoatenção e atenção linear, e a aplicação de projeções via einsum em tensores de especialistas 3D.
O trabalho inclui um conjunto de dados prejudicial enriquecido de código aberto com 7.356 prompts através de 35 categorias e fornece checkpoints do modelo e código para reproduzir os resultados.