Исследование DiaLLM показывает, что диалектная устойчивость и генерация разделены в больших языковых моделях, поскольку бенчмарки, сформированные непрерывным дообучением, не отражают то, как выравнивание изменяет реальный вывод. Авторы проводят непрерывное дообучение трех семейств моделей с открытыми весами на корпусе International Corpus of English и применяют неявные и явные парадигмы постобучения в сочетании с тремя стратегиями выравнивания для австралийского, индийского и северного британского английского.
- Явная адаптация, ориентированная на конкретный вариант языка, дает вывод, который надежно распознается как диалектный и предпочитается широкому выравниванию.
- Метод, наиболее агрессимо оптимизирующий диалектное вознаграждение, не получил предпочтения у человеческих оценщиков, что указывает на разрыв между вознаграждением и качеством.
- Независимый лингвистический анализ подтверждает этот разрыв, особенно для двух из трех семейств моделей.
- Ни один метод выравнивания не доминирует, что предполагает необходимость более сложных дизайнов вознаграждения для устранения этого разрыва.
Авторы выкладывают весь код, чекпоинты и датасеты предпочтений для поддержки дальнейших исследований диалектных ресурсов.