연구자들은 신경망의 개별 가중치가 학습 분포 전체에 걸쳐 글로벌하게 이해될 수 있는지, 그리고 그것이 중요한 조건을 특성화함으로써 조사했다. 그들은 보유된 텍스트에서 가중치 함수에 대한 사람이 읽을 수 있는 설명을 생성하고 검증하는 자동화된 LLM 파이프라인을 도입했다.

  • 이 연구는 두 개의 스파스 트랜스포머와 두 개의 밀집 트랜스포머를 비교하여 해석 가능한 가중치의 비율을 측정했다.
  • 스파스 트랜스포머 모델의 가중치 중 의미 있는 비율이 해석 가능하며, 12~31%가 그 용도를 식별하는 짧은 단일 설명을 가지고 있었다.
  • 신뢰할 수 없는 설명을 제외하면 스파스와 밀집 모델 간의 해석 가능성 격차가 더 넓어진다.

이 결과는 스파스 트랜스포머의 개별 매개변수가 밀집 아키텍처의 매개변수보다 기계적 해석에 더 적합함을 보여준다.