Os autores introduzem um método para construir transformers legíveis usando unidades limitadas e nomeadas que funcionam como operações de conjuntos difusos em vez de ativações densas. Para evitar que a penalidade de nitidez colapse os operadores em constantes mortas, eles implementam um piso de variância por canal como uma métrica alvo de legibilidade.
- A abordagem elimina a necessidade de partições GELU reservadas configuradas manualmente ao aprender frações por unidade, roteando 87% do cálculo através de operadores nítidos.
- O modelo resultante alcança 78% de operandos de feedforward legíveis e 50% de canais de valor de atenção legíveis, com a legibilidade por cabeça subindo de 18% nas camadas rasas para 78% nas profundas.
- As edições nessas unidades são significativamente mais locais, oferecendo uma melhoria de 50 a 184 vezes nas camadas profundas onde os locais de edição se concentram.
- A pressão de decorrelação entre unidades permite trocar a reutilização de circuitos por independência sem custo de qualidade, transformando conceitos em unidades editáveis cirurgicamente.
Este método permite edições que visam conjunções explícitas que um único neurônio não pode expressar, mantendo paridade de qualidade com as linhas de base convencionais.