Los investigadores investigaron si los pesos individuales en las redes neuronales pueden entenderse globalmente a lo largo de toda la distribución de entrenamiento caracterizando cuándo importan. Introdujeron una tubería LLM automatizada que genera y verifica descripciones legibles por humanos de funciones de peso en texto retenido.
- El estudio comparó dos transformadores dispersos y dos densos para medir la fracción de pesos interpretables.
- Una fracción significativa de los pesos de un modelo de transformador disperso puede ser interpretada, con el 12 al 31% teniendo una sola descripción corta que identifica su uso.
- La brecha en interpretabilidad entre modelos dispersos y densos se amplía cuando se descartan descripciones poco fiables.
Los resultados demuestran que los parámetros individuales en transformadores dispersos son más propensos a la interpretación mecánica que los de las arquitecturas densas.