Исследование проводит аудит селекторов нейронов в языковых моделях с помощью однократного обнуления строк нейронов, чтобы определить, позволяют ли оценки атрибуции выявлять причинно важные строки. Исследование демонстрирует, что методы атрибуции существенно превосходят базовые варианты на основе активации и величины при выявлении необязательных строк в пяти LLM.
- Приписанные строки достаточны для установки отказа по темам ненависти и преступлений, сохраняя низкий уровень ложного отказа на безобидные темы и сохраняя беглость.
- Специальные случайные контрольные примеры с совпадением слоев на тех же глубинах не дают такого эффекта, подтверждая причинную валидность.
- Согласно выводам, высоко ранг-стабильные селекторы могут быть наименее причинно валидными.
- Отказ находится в избыточном подпространстве, где различные методы атрибуции устанавливают его через в основном непересекающиеся наборы строк.
Авторы приходят к выводу, что прокси-методы ранг-стабильности упускают сбои селекторов, которые могут быть выявлены прямым причинным аудитом, показывая, что восстановленное редактирование является одной реализацией достаточного набора, а не уникальным механизмом.