著者は、密な活性化ではなくファジー集合演算として機能する有界な名前付きユニットを使用して、解釈可能なトランスフォーマーを構築する方法を紹介します。クリップネスペナルティが演算子を死んだ定数に崩壊させるのを防ぐため、彼らはターゲットの可読性指標としてチャネルごとの分散下限値を実装します。

  • このアプローチは、手動で設定された予約済みGELUパーティションの必要性を排除し、ユニットごとの分数を学習することで、87%の計算をクリップな演算器にルーティングします。
  • 結果として得られるモデルは、78%の解釈可能な順伝播オペランドと50%の解釈可能なアテンション値チャネルを実現し、浅い層では18%だったヘッドごとの可読性が深い層では78%まで上昇します。
  • これらのユニットへの編集は大幅に局所的になり、編集サイトが集中する深い層で50〜184倍の改善をもたらします。
  • ユニット間のデコ相関圧力により、品質コストなしで回路の再利用と独立性をトレードオフでき、概念を外科手術的に編集可能なユニットに変えます。

この方法は、従来のベースラインと品質の同等性を維持しながら、単一のニューロンでは表現できない明示的な結合を対象とした編集を可能にします。