L'étude DiaLLM comble le fossé entre la compréhension et la production de l'anglais dialectal en effectuant un pré-entraînement continu sur trois familles de modèles linguistiques à poids ouverts, basées sur le Corpus international de l'anglais. Elle applique des paradigmes d'entraînement postérieur implicites et explicites combinés à trois stratégies d'alignement pour comparer l'anglais australien, indien et britannique du Nord.
- La robustesse dialectale et la génération sont dissociées ; les benchmarks reflètent le pré-entraînement continu et le SFT, tandis que l'alignement modifie la génération de manières que les benchmarks ne capturent pas.
- L'adaptation explicite ciblée sur des variétés produit des sorties fiablement reconnues comme dialectales et préférées à un alignement large.
- La méthode optimisant le plus agressivement la récompense dialectale n'est pas préférée par les évaluateurs humains.
- Une analyse linguistique indépendante corrobore cet écart entre récompense et qualité pour deux des trois familles de modèles.
Les auteurs concluent qu'aucune méthode d'alignement unique ne domine et que combler cet écart nécessite des conceptions de récompenses plus riches et un investissement continu dans les ressources dialectales.