Studi DiaLLM mengatasi ketidaksesuaian antara pemahaman dan produksi bahasa Inggris dialek dengan melakukan pra-pelatihan berkelanjutan pada tiga keluarga model bahasa bobot terbuka di Korpus Internasional Bahasa Inggris. Studi ini menerapkan paradigma pasca-pelatihan implisit dan eksplisit yang dikombinasikan dengan tiga strategi penyesuaian untuk membandingkan bahasa Inggris Australia, India, dan Inggris Utara.
- Robustness dialek dan pembuatan terdisosiasi; benchmark mencerminkan pra-pelatihan berkelanjutan dan SFT, sementara penyesuaian membentuk ulang pembuatan dengan cara yang tidak tertangkap oleh benchmark.
- Adaptasi eksplisit yang ditargetkan pada variasi menghasilkan output yang secara andal dikenali sebagai dialektal dan lebih disukai daripada penyesuaian luas.
- Metode yang paling agresif mengoptimalkan hadiah dialektal tidak disukai oleh evaluator manusia.
- Analisis linguistik independen mendukung kesenjangan hadiah-kualitas ini di dua dari tiga keluarga model.
Para penulis menyimpulkan bahwa tidak ada metode penyesuaian tunggal yang mendominasi dan menutupi kesenjangan ini memerlukan desain hadiah yang lebih kaya serta investasi berkelanjutan dalam sumber daya dialektal.