Studi DiaLLM mengungkapkan bahwa robustness dialektal dan generasi terdisosiasi dalam model bahasa besar, karena benchmark yang dibentuk oleh pra-pelatihan berkelanjutan tidak menangkap bagaimana penyesuaian membentuk ulang output aktual. Penulis melakukan pra-pelatihan berkelanjutan pada tiga keluarga model bobot terbuka menggunakan International Corpus of English dan menerapkan paradigma pasca-pelatihan implisit dan eksplisit yang dikombinasikan dengan tiga strategi penyesuaian untuk Inggris Australia, India, dan Inggris Utara.\n\n- Adaptasi yang ditargetkan secara eksplisit ke variasi menghasilkan output yang secara andal dikenali sebagai dialektal dan lebih disukai daripada penyesuaian luas.
- Metode yang paling agresif mengoptimalkan reward dialektal tidak disukai oleh evaluator manusia, menunjukkan adanya kesenjangan antara reward dan kualitas.
- Analisis linguistik independen mendukung kesenjangan ini, khususnya untuk dua dari tiga keluarga model.
- Tidak ada satu metode penyesuaian pun yang mendominasi, menunjukkan bahwa desain reward yang lebih kaya diperlukan untuk menutup kesenjangan tersebut.
\nPara penulis merilis semua kode, checkpoint, dan dataset preferensi untuk mendukung penelitian lebih lanjut mengenai sumber daya dialektal.