Исследование DiaLLM устраняет разрыв между пониманием и генерацией диалектного английского языка путем непрерывного дообучения трех семейств языковых моделей с открытым весом на корпусе International Corpus of English. Применяются неявные и явные парадигмы постобучения в сочетании с тремя стратегиями выравнивания для сравнения австралийского, индийского и северного британского английского.
- Диалектная устойчивость и генерация разделены; бенчмарки отражают непрерывное дообучение и SFT, тогда как выравнивание изменяет генерацию способами, которые не улавливают бенчмарки.
- Явная адаптация, ориентированная на конкретный вариант языка, дает результат, который надежно распознается как диалектный и предпочитается широкому выравниванию.
- Метод, наиболее агрессимо оптимизирующий диалектное вознаграждение, не является предпочтительным для человеческих оценщиков.
- Независимый лингвистический анализ подтверждает этот разрыв между вознаграждением и качеством в двух из трех семейств моделей.
Авторы приходят к выводу, что ни один метод выравнивания не доминирует, а для устранения разрыва требуются более богатые конструкции вознаграждения и продолжение инвестиций в диалектные ресурсы.