SAE Top-K End-to-End Gabungan yang dikondisikan Procrustes mengekstrak fitur universal dari BERT

Para penulis menyajikan Sparse Autoencoder (SAE) Top-K End-to-End Gabungan yang dikondisikan Procrustes, yang dirancang untuk mengekstrak fitur universal lintas-seed dari model BERT yang dilatih secara independen. Pendekatan ini mengatasi tantangan ruang fitur yang tidak sejajar yang disebabkan oleh pembelajaran kamus non-konveks dan inisialisasi acak.

• Metode ini menghitung rotasi Procrustes ortogonal antara ruang aktivasi seed sebelum pelatihan SAE gabungan.
• Metode ini menggabungkan sparsity Top-K, optimisasi downstream end-to-end, dan kerugian pembangkitan fitur mati tambahan.
• Evaluasi pada lima pasangan seed independen (sepuluh model BERT) di SST-2, Stanford Politeness, dan TweetEval Emotion menunjukkan Pearson r ≥ 0.70 di seluruh seed.
• Pipeline ini menghasilkan lebih banyak fitur universal dibandingkan baseline penyelarasan pasca-hoc pada ketiga dataset.

Para penulis menganggap hal ini penting karena memungkinkan ekstraksi pola sosiolinguistik yang dapat diinterpretasikan yang konsisten di berbagai inisialisasi model.