SAE Top-K conjunto e de ponta a ponta condicionado por Procrustes extrai características universais do BERT

Os autores apresentam um autoencoder esparsa (SAE) Top-K conjunto e de ponta a ponta, condicionado por Procrustes, projetado para extrair características universais cruzadas entre sementes de modelos BERT treinados independentemente. Esta abordagem aborda o desafio de espaços de características desalinhados causados pelo aprendizado de dicionário não convexo e inicialização aleatória.

• O método calcula uma rotação de Procrustes ortogonal entre os espaços de ativação das sementes antes do treinamento conjunto do SAE.
• Combina esparsidade Top-K, otimização conjunta de ponta a ponta para downstream e uma perda auxiliar de reativação de características mortas.
• A avaliação em cinco pares de sementes independentes (dez modelos BERT) em SST-2, Stanford Politeness e TweetEval Emotion mostra Pearson r ≥ 0.70 entre sementes.
• O pipeline produz mais características universais do que as linhas de base de alinhamento post-hoc em todos os três conjuntos de dados.

Os autores consideram isso importante porque permite a extração de padrões sociolinguísticos interpretáveis que são consistentes através de diferentes inicializações de modelos.