SAE Top-K conjunto y de extremo a extremo condicionado por Procrustes extrae características universales de BERT

Los autores presentan un autoencoder disperso (SAE) Top-K conjunto y de extremo a extremo, condicionado por Procrustes, diseñado para extraer características universales cruzadas entre semillas de modelos BERT entrenados independientemente. Este enfoque aborda el desafío de los espacios de características desalineados causados por el aprendizaje de diccionarios no convexos y la inicialización aleatoria.

• El método calcula una rotación de Procrustes ortogonal entre los espacios de activación de las semillas antes del entrenamiento conjunto del SAE.
• Combina la dispersión Top-K, la optimización conjunta de extremo a extremo para tareas downstream y una pérdida auxiliar de reactivación de características muertas.
• La evaluación en cinco pares de semillas independientes (diez modelos BERT) en SST-2, Stanford Politeness y TweetEval Emotion muestra un coeficiente de correlación de Pearson r ≥ 0.70 entre semillas.
• El pipeline produce más características universales que las líneas base de alineación post-hoc en los tres conjuntos de datos.

Los autores consideran esto importante porque permite la extracción de patrosociolingüísticos interpretables que son consistentes a través de diferentes inicializaciones de modelos.