Los autores presentan un método para construir transformers legibles utilizando unidades acotadas y nombradas que funcionan como operaciones de conjuntos difusos en lugar de activaciones densas. Para evitar que la penalización por nitidez colapse los operadores en constantes muertas, implementan un piso de varianza por canal como métrica objetivo de legibilidad.
- El enfoque elimina la necesidad de particiones GELU reservadas configuradas manualmente al aprender fracciones por unidad, enrutando el 87% del cómputo a través de operadores nítidos.
- El modelo resultante logra un 78% de operandos de alimentación directa legibles y un 50% de canales de valor de atención legibles, con una legibilidad por cabeza que aumenta del 18% en capas superficiales al 78% en las profundas.
- Las ediciones a estas unidades son significativamente más locales, ofreciendo una mejora de 50 a 184 veces en capas profundas donde se concentran los sitios de edición.
- La presión de decorrelación entre unidades permite intercambiar la reutilización de circuitos por independencia sin costo de calidad, convirtiendo conceptos en unidades editables quirúrgicamente.
Este método permite ediciones que apuntan a conjunciones explícitas que un solo neurona no puede expresar, manteniendo una paridad de calidad con las líneas base convencionales.