한 연구는 원샷 뉴론 행 제로화를 사용하여 언어 모델의 뉴론 선택자를 감사하고, 귀속 점수가 인과적으로 중요한 행을 식별할 수 있는지 확인했습니다. 이 연구는 귀속 방법이 5개의 LLM에 걸쳐 불필요한 행을 식별하는 데 활성화 및 크기에 기반한 기준선보다 크게 우수함을 입증했습니다.
- 귀속된 행은 혐오 및 범죄 주제에 대한 거부를 설치하면서 양성 과거부 refusal를 낮게 유지하고 유창성을 보존하는 데 충분합니다.
- 같은 깊이의 계층 매칭 무작위 제어는 이 효과를 생성하지 않아 인과적 타당성을 확인합니다.
- 연구 결과에 따르면 높은 순위 안정성을 가진 선택자는 인과적으로 가장 타당성이 낮은 경우가 될 수 있습니다.
- 거부는 중복 부분 공간에 존재하며, 서로 다른 귀속 방법은 주로 서로소인 행 집합을 통해 이를 설치합니다.
저자들은 순위 안정성 프록시가 직접적인 인과 감사를 통해 드러날 수 있는 선택자 실패를 놓칠 수 있음을 결론지으며, 복원된 편집은 충분 집합의 하나의 실현일 뿐 고유한 메커니즘이 아님을 보여줍니다.