O estudo DiaLLM aborda a desconexão entre compreender e produzir inglês dialectal por meio do pré-treinamento contínuo de três famílias de modelos de linguagem de peso aberto no Corpus Internacional do Inglês. Aplica paradigmas de pós-treinamento implícitos e explícitos combinados com três estratégias de alinhamento para comparar o inglês australiano, indiano e britânico setentrional.
- A robustez dialectal e a geração estão dissociadas; os benchmarks refletem o pré-treinamento contínuo e SFT, enquanto o alinhamento molda a geração de maneiras que os benchmarks não captam.
- A adaptação explícita voltada para variedades específicas produz resultados reconhecidos confiavelmente como dialectais e preferidos em relação ao alinhamento amplo.
- O método que otimiza mais agressivamente a recompensa dialectal não é o preferido pelos avaliadores humanos.
- A análise linguística independente corrobora essa lacuna entre recompensa e qualidade em duas das três famílias de modelos.
Os autores concluem que nenhum método de alinhamento domina e fechar a lacuna requer desenhos de recompensa mais ricos e investimento contínuo em recursos dialectais.