Procrustes 조건부 Joint End-to-end Top-K SAE가 BERT에서 보편적 특징을 추출

저자들은 독립적으로 훈련된 BERT 모델에서 교차 시드 보편적 특징을 추출하도록 설계된 Procrustes 조건부 Joint End-to-end Top-K Sparse Autoencoder (SAE)를 제시합니다. 이 접근 방식은 비볼록 사전 학습과 무작위 초기화로 인해 발생하는 특징 공간의 정렬 불일치라는 과제를 해결합니다.

• 이 방법은 결합 SAE 훈련 전에 시드 간 활성화 공간에서 직교 Procrustes 회전을 계산합니다.
• Top-K 희소성, 엔드투엔드 다운스트림 최적화 및 보조 데드 피처 부활 손실을 결합합니다.
• SST-2, Stanford Politeness, TweetEval Emotion에 걸친 5개의 독립적인 시드 쌍(10개 BERT 모델)에 대한 평가는 시드 간 Pearson r ≥ 0.70을 보여줍니다.
• 이 파이프라인은 모든 세 데이터셋에서 사후 정렬 기준선보다 더 많은 보편적 특징을 생성합니다.

저자들은 이를 중요하게 여깁니다. 서로 다른 모델 초기화에 걸쳐 일관된 해석 가능한 사회언어학적 패턴을 추출할 수 있기 때문입니다.