研究者らは、英語根拠によるクロスリンガル検索拡張生成における言語ドリフトと信頼性の低い証拠利用に対処する、教師正則化強化学習手法であるTR-RAGを提案する。このアプローチは、報酬最適化とオンポリシー蒸留を組み合わせ、コンパクトな学生モデルがサンプリングした回答に対して、凍結された教師モデルが接頭辞ごとの逆KLアンカーを提供する。

  • TR-RAGは、多言語生成における報酬分解として、言語一貫性、文字3グラム再現率、LLMジャッジスコアを組み合わせる。
  • 教師アンカーは、ドメイン内言語における報酬のみを用いたRLで観察される最大約27パーセントポイントに及ぶ大きな言語一貫性の崩壊を防ぐ。
  • 遠い分布外言語では、報酬のみを用いたRLがベースモデルの天井で停滞するところを、本手法は証拠の接地性を改善する。
  • コンパクトな学生モデルは、BioASQ-ENKB5、Hotpot-ENKB5、MKQAベンチマークにおいて、文字3グラム再現率で70Bの教師モデルを上回る場合がある。

著者らは、これが高価なフルモデルファインチューニングを必要とせずに、トレーニングの安定化と言語準拠性、証拠接地性の正確さの両方を改善するため重要だと考えている。