作者提出了一种Procrustes条件的联合端到端Top-K稀疏自编码器（SAE），旨在从独立训练的BERT模型中提取跨种子通用特征。该方法解决了由非凸字典学习和随机初始化引起的特征空间不对齐问题。

  • 该方法在联合SAE训练之前，计算不同种子激活空间之间的正交Procrustes旋转。
  • 它结合了Top-K稀疏性、端到端下游优化以及辅助的死特征复活损失。
  • 在SST-2、Stanford Politeness和TweetEval Emotion上的五个独立种子对（十个BERT模型）评估显示，跨种子的Pearson r ≥ 0.70。
  • 在所有三个数据集上，该流水线产生的通用特征多于事后对齐基线。

作者认为这很重要，因为它能够提取出在不同模型初始化下保持一致的可解释社会语言学模式。