Un usuario aplica abliteración con biproyección y preservación de norma al modelo Qwen3.6-35B-A3B, logrando una tasa de rechazo del 0% en un conjunto de prueba retenido mientras se mantienen intactos los benchmarks de matemáticas y código.
La técnica ortogonaliza las filas de pesos contra la dirección de rechazo y las reescala a su norma L2 original, previniendo la degradación del benchmark causada por la abliteración estándar. El autor aborda desafíos específicos en la arquitectura híbrida Mixture of Experts, incluyendo el manejo de capas de autoatención mixta y atención lineal, y la aplicación de proyecciones mediante einsum a tensores de expertos 3D.
El trabajo incluye un conjunto de datos dañado enriquecido de código abierto con 7.356 prompts a través de 35 categorías y proporciona puntos de control del modelo y código para reproducir los resultados.