著者らは、独立して訓練されたBERTモデルからクロスシードの普遍的特徴を抽出するために設計された、Procrustes条件付きJoint End-to-end Top-K Sparse Autoencoder (SAE) を提示します。このアプローチは、非凸辞書学習とランダム初期化に起因する特徴空間のミスマッチという課題に対処します。

  • この手法は、結合SAE訓練の前にシード間の活性化空間で直交Procrustes回転を計算します。
  • Top-Kスパース性、エンドツーエンドのダウンストリーム最適化、および補助的なデッドフィーチャー再生損失を組み合わせています。
  • SST-2、Stanford Politeness、TweetEval Emotionにわたる5つの独立したシードペア（10個のBERTモデル）での評価は、シード間でPearson r ≥ 0.70を示しました。
  • このパイプラインは、3つのデータセットすべてにおいて事後整列ベースラインよりも多くの普遍的特徴を生成します。

著者らはこれを重要と考えています。なぜなら、異なるモデル初期化にわたって一貫した解釈可能な社会言語学的パターンを抽出可能にするからです。