Un SAE Top-K Joint End-to-end conditionné par Procrustes extrait des caractéristiques universelles de BERT

Les auteurs présentent un Sparse Autoencoder (SAE) Top-K Joint End-to-end conditionné par Procrustes, conçu pour extraire des caractéristiques universelles croisées entre graines à partir de modèles BERT entraînés indépendamment. Cette approche répond au défi des espaces de caractéristiques désalignés causés par l'apprentissage de dictionnaires non convexes et l'initialisation aléatoire.

• La méthode calcule une rotation Procrustes orthogonale entre les espaces d'activation des graines avant l'entraînement conjoint du SAE.
• Elle combine la parcimonie Top-K, l'optimisation en bout de chaîne pour les tâches aval et une perte auxiliaire de relance des caractéristiques mortes.
• L'évaluation sur cinq paires de graines indépendantes (dix modèles BERT) sur SST-2, Stanford Politeness et TweetEval Emotion montre un Pearson r ≥ 0.70 entre les graines.
• Le pipeline produit plus de caractéristiques universelles que les méthodes de référence d'alignement post-hoc sur les trois ensembles de données.

Les auteurs considèrent cela important car il permet l'extraction de motifs sociolinguistiques interprétables qui sont cohérents à travers différentes initialisations de modèles.