Um estudo recente investiga a robustez do Desalinhamento Emergente (EM), um fenômeno em que modelos de linguagem adquirem comportamento amplamente desalinhado após o ajuste fino em conjuntos de dados estreitos e específicos de domínio. Os autores analisaram sistematicamente ciclos repetidos de alinhamento e desalinhamento usando loops de ajuste fino controlados enquanto rastreavam o desempenho comportamental e as representações do LoRA.
- Tanto o desalinhamento quanto o realinhamento foram encontrados como altamente sensíveis a características superficiais do conjunto de dados.
- O aparente realinhamento rápido desapareceu em grande parte ao controlar pelas diferenças no comprimento da resposta.
- Assinaturas mecanicistas, como transições de fase representacionais no espaço do LoRA, não se correlacionaram consistentemente com o desalinhamento comportamental durante o treinamento.
Os resultados sugerem que a evidência atual para o EM é menos robusta do que anteriormente afirmado e destacam a necessidade de protocolos de avaliação que controlem cuidadosamente os artefatos superficiais do conjunto de dados.