Авторы представляют Procrustes-условный совместный сквозной Top-K разреженный автоэнкодер (SAE), предназначенный для извлечения кросс-семенных универсальных признаков из независимо обученных моделей BERT. Этот подход решает проблему несовместности пространств признаков, вызванной невыпуклым обучением словаря и случайной инициализацией.

  • Метод вычисляет ортогональное преобразование Прокруста между пространствами активаций различных семян перед совместным обучением SAE.
  • Он сочетает разреженность Top-K, сквозную оптимизацию для downstream-задач и вспомогательную функцию потерь для возрождения «мёртвых» признаков.
  • Оценка на пяти парах независимых семян (десять моделей BERT) по задачам SST-2, Stanford Politeness и TweetEval Emotion показывает коэффициент корреляции Пирсона r ≥ 0.70 между семенами.
  • Конвейер генерирует больше универсальных признаков, чем методы пост-хок выравнивания на всех трёх наборах данных.

Авторы считают это важным, поскольку это позволяет извлекать интерпретируемые социолингвистические паттерны, согласованные при различных инициализациях моделей.