Une étude audite les sélecteurs de neurones dans les modèles de langage en utilisant un zéroage de ligne de neurone en un seul passage pour déterminer si les scores d'attribution identifient les lignes causalement importantes. La recherche démontre que les méthodes d'attribution surpassent largement les bases de référence basées sur l'activation et la magnitude pour identifier les lignes dispensables à travers cinq LLM.
- Les lignes attribuées sont suffisantes pour installer le refus sur les sujets de haine et de crime tout en maintenant un sur-refus bénin faible et en préservant la fluidité.
- Des contrôles aléatoires appariés par couche aux mêmes profondeurs ne produisent pas cet effet, confirmant la validité causale.
- Selon les résultats, des sélecteurs hautement stables en rang peuvent être parmi les moins valables causalement.
- Le refus réside dans un sous-espace redondant où différentes méthodes d'attribution l'installent via des ensembles de lignes largement disjoints.
Les auteurs concluent que les proxies de stabilité du rang manquent les échecs des sélecteurs que les audits causaux directs peuvent révéler, montrant que l'édition récupérée est une réalisation d'un ensemble suffisant plutôt qu'un mécanisme unique.