Un estudio audita selectores de neuronas en modelos de lenguaje utilizando el borrado único de filas de neuronas para determinar si las puntuaciones de atribución identifican filas causalmente importantes. La investigación demuestra que los métodos de atribución superan sustancialmente a las líneas base basadas en activación y magnitud al identificar filas prescindibles en cinco LLM.
- Las filas atribuidas son suficientes para instalar el rechazo en temas de odio y crimen, manteniendo bajo el sobre-rechazo benigno y preservando la fluidez.
- Los controles aleatorios específicos coincidentes por capa a las mismas profundidades no producen este efecto, confirmando la validez causal.
- Según los hallazgos, los selectores altamente estables en rango pueden ser los menos válidos causalmente.
- El rechazo reside en un subespacio redundante donde diferentes métodos de atribución lo instalan a través de conjuntos de filas en gran medida disjuntos.
Los autores concluyen que los proxies de estabilidad de rango pierden fallos del selector que las auditorías causales directas pueden revelar, mostrando que la edición recuperada es una realización de un conjunto suficiente en lugar de un mecanismo único.