저자들은 밀집된 활성화가 아닌 퍼지 집합 연산으로 작동하는 유계된 이름 붙여진 유닛을 사용하여 해석 가능한 트랜스포머를 구축하는 방법을 소개합니다. 날카로움 패널티가 연산자를 죽은 상수로 붕괴시키는 것을 방지하기 위해, 그들은 목표 가독성 지표로서 채널별 분산 하한선을 구현합니다.

  • 이 접근 방식은 수동으로 설정된 예약된 GELU 파티션의 필요성을 제거하고 유닛별 비율을 학습하여 계산의 87%를 날카로운 연산자를 통해 라우팅합니다.
  • 결과 모델은 78%의 해석 가능한 순전파 피연산자와 50%의 해석 가능한 어텐션 값 채널을 달성하며, 얕은 층에서는 18%였던 헤드별 가독성이 깊은 층에서는 78%로 상승합니다.
  • 이러한 유닛에 대한 수정은 훨씬 더 국소적이며, 수정 사이트가 집중되는 깊은 층에서 50-184배의 개선을 제공합니다.
  • 유닛 간 비상관 압력은 품질 비용 없이 회로 재사용과 독립성 간의 트레이드오프를 가능하게 하여 개념을 정밀하게 수정 가능한 유닛으로 만듭니다.

이 방법은 기존 기준선과 품질 동등을 유지하면서 단일 뉴런이 표현할 수 없는 명시적 결합을 대상으로 하는 수정을 가능하게 합니다.