Авторы предлагают метод построения интерпретируемых трансформеров с использованием ограниченных именованных единиц, которые функционируют как операции нечётких множеств, а не плотные активации. Чтобы предотвратить потерю чёткости из-за коллапса операторов в константы, они реализуют порог дисперсии по каналам в качестве целевой метрики интерпретируемости.
- Подход устраняет необходимость в ручном задании разделов GELU за счёт обучения долям для каждой единицы, направляя 87% вычислений через чёткие операторы.
- Полученная модель достигает 78% интерпретируемых операндов прямого распространения и 50% интерпретируемых каналов значений внимания, при этом интерпретируемость по головам возрастает с 18% в мелких слоях до 78% в глубоких.
- Изменения этих единиц значительно более локальны, обеспечивая улучшение в 50–184 раза в глубоких слоях, где сосредоточены места редактирования.
- Давление декорреляции между единицами позволяет обменивать повторное использование схемы на независимость без потери качества, превращая концепции в хирургически редактируемые единицы.
Этот метод позволяет выполнять изменения, направленные на явные конъюнкции, которые один нейрон выразить не может, сохраняя качество на уровне обычных базовых моделей.