L'étude DiaLLM révèle que la robustesse dialectale et la génération sont dissociées dans les grands modèles de langage, car les benchmarks façonnés par le pré-entraînement continu ne capturent pas comment l'alignement reshape la sortie réelle. Les auteurs ont effectué un pré-entraînement continu sur trois familles de modèles à poids ouverts avec le International Corpus of English et ont appliqué des paradigmes de post-entraînement implicites et explicites combinés à trois stratégies d'alignement pour l'anglais australien, indien et britannique du Nord.\n\n- L'adaptation explicite ciblée sur la variété produit une sortie reconnue de manière fiable comme dialectale et préférée par rapport à un alignement large.
- La méthode qui optimise le plus agressivement la récompense dialectale n'est pas préférée par les évaluateurs humains, indiquant un écart entre récompense et qualité.
- Une analyse linguistique indépendante corrobore cet écart, en particulier pour deux des trois familles de modèles.
- Aucune méthode d'alignement unique ne domine, suggérant que des conceptions de récompense plus riches sont nécessaires pour combler l'écart.
\nLes auteurs publient tout le code, les points de contrôle et les ensembles de données de préférence pour soutenir la recherche ultérieure sur les ressources dialectales.