ユーザーがQwen3.6-35B-A3Bモデルに対してノルム保存型双射影アブリレーションを適用し、数学およびコードのベンチマークをそのまま保ったまま、ホールドアウトテストセットにおいて拒否率0%を達成しました。

この手法は、拒否方向に対して重み行を直交化し、元のL2ノルムに再スケーリングすることで、バニラアブリレーションによって引き起こされるベンチマークの劣化を防ぎます。著者は、混合自己注意層と線形注意層の処理、および3Dエキスパートテンソルへのeinsumを用いた射影適用など、ハイブリッドExpertのMixture of Expertsアーキテクチャにおける特定の問題に対処しています。

本作業には、35カテゴリにわたる7,356プロンプトを含むオープンソースの強化された有害データセットが含まれており、結果の再現のためのモデルチェックポイントとコードが提供されています。