Les auteurs présentent une méthode pour construire des transformateurs lisibles en utilisant des unités nommées et bornées qui fonctionnent comme des opérations d'ensembles flous plutôt que des activations denses. Pour empêcher la pénalité de netteté de faire s'effondrer les opérateurs en constantes mortes, ils implémentent un plancher de variance par canal comme métrique de lisibilité cible.
- L'approche élimine le besoin de partitions GELU réservées définies manuellement en apprenant des fractions par unité, dirigeant 87 % du calcul via des opérateurs nets.
- Le modèle résultant atteint 78 % d'opérandes de feed-forward lisibles et 50 % de canaux de valeurs d'attention lisibles, avec une lisibilité par tête passant de 18 % dans les couches peu profondes à 78 % dans les couches profondes.
- Les modifications apportées à ces unités sont nettement plus locales, offrant une amélioration de 50 à 184 fois dans les couches profondes où les sites de modification se concentrent.
- La pression de décorrélations inter-unités permet d'échanger la réutilisation du circuit contre l'indépendance sans coût en qualité, transformant les concepts en unités modifiables chirurgicalement.
Cette méthode permet des modifications ciblant des conjonctions explicites qu'un seul neurone ne peut pas exprimer tout en maintenant une parité de qualité avec les bases conventionnelles.