作者提出了一种构建可解释Transformer的方法，该方法使用有界、命名的单元，这些单元作为模糊集合运算而非密集激活来工作。为了防止清晰度惩罚导致算子坍缩为死常数，他们实现了一个每通道方差下限作为目标可解释性指标。

  • 该方法消除了对手动设置的保留GELU分区的需求，通过为每个单元学习分数，将87%的计算路由到清晰的算子上。
  • resulting模型实现了78%的可解释前馈操作数和50%的可解释注意力值通道，每头的可解释性从浅层的18%上升到深层的78%。
  • 对这些单元的编辑显著更加局部化，在集中了编辑位置的深层中提供了50-184倍的改进。
  • 单元间的去相关压力允许在不牺牲质量的情况下用电路重用换取独立性，将概念转化为可手术式编辑的单元。

此方法使得能够针对单个神经元无法表达的显式合取进行编辑，同时保持与常规基线的质量持平。