用户对 Qwen3.6-35B-A3B 模型应用了保范数双投影消融剔除技术,在保留的测试集上实现了 0% 的拒绝率,同时保持了数学和代码基准测试的完整性。

该技术将权重行与拒绝方向正交化,并将其重新缩放回原始 L2 范数,从而防止了由普通消融剔除引起的基准测试性能下降。作者解决了混合专家架构(Mixture of Experts)中的特定挑战,包括处理混合自注意力和线性注意力层,以及通过 einsum 对三维专家张量应用投影。

该工作包含一个开源的丰富有害数据集,涵盖 35 个类别共 7,356 个提示,并提供了用于复现结果的模型检查点和代码。