Une étude récente examine la robustesse du Désalignement Émergent (EM), un phénomène où les modèles de langage acquièrent un comportement largement désaligné après un affinage sur des ensembles de données étroits et spécifiques à un domaine. Les auteurs ont analysé systématiquement les cycles répétés d'alignement et de désalignement à l'aide de boucles d'affinage contrôlées, tout en suivant les performances comportementales et les représentations LoRA.
- Il a été constaté que le désalignement et le réalignment étaient tous deux très sensibles aux caractéristiques superficielles des ensembles de données.
- Le réalignment rapide apparent disparaissait largement lorsque l'on contrôlait les différences de longueur de réponse.
- Les signatures mécanistiques, telles que les transitions de phase représentationnelles dans l'espace LoRA, ne corréléaient pas systématiquement avec le désalignement comportemental tout au long de l'entraînement.
Les résultats suggèrent que les preuves actuelles en faveur de l'EM sont moins robustes qu'auparavant affirmé et soulignent la nécessité de protocoles d'évaluation qui contrôlent soigneusement les artefacts de surface des ensembles de données.