DiaLLMの研究により、大規模言語モデルにおいて方言的堅牢性と生成は解離しており、継続的事前学習によって形成されたベンチマークは、アライメントが実際の出力をどのように再形成するかを捉えていないことが明らかになった。著者は、International Corpus of English上で3つのオープンウェイトモデルファミリーに対して継続的事前学習を適用し、オーストラリア英語、インド英語、北英英語に対して暗黙的および明示的なポストトレーニングパラダイムと3つのアライメント戦略を組み合わせた。\n\n- 明示的なバリエーションターゲット適応は、方言的として確実に認識され、広範なアライメントよりも好まれる出力を生み出す。

  • 方言的報酬を最も積極的に最適化する手法は、人間の評価者には好まれないことから、報酬と品質のギャップを示唆している。
  • 独立した言語学的分析はこのギャップを裏付け、特に3つのモデルファミリーのうち2つで顕著である。
  • いかなる単一のアライメント手法も支配的ではなく、ギャップを埋めるためにはより豊かな報酬設計が必要であることを示唆している。

\n著者は、方言リソースに関するさらなる研究をサポートするため、すべてのコード、チェックポイント、および好意データセットを公開した。