研究人员提出了TR-RAG，这是一种带有教师正则化的强化学习方法，旨在解决基于英语证据的跨语言检索增强生成中的语言漂移和证据使用不可靠的问题。该方法将奖励优化与on-policy蒸馏相结合，使用冻结的教师为紧凑学生采样的答案提供逐前缀的reverse-KL锚点。

  • TR-RAG将语言一致性、字符3-gram recall和LLM-judge分数结合成用于多语言生成的奖励分解。
  • 教师锚点防止了在域内语言上仅使用奖励的RL中出现的高达~27个百分点的大规模语言一致性崩溃。
  • 在分布外较远的语言上，该方法改进了证据 grounding，而仅使用奖励的RL在此处停滞于基础模型的上限。
  • 紧凑学生在BioASQ-ENKB5、Hotpot-ENKB5和MKQA基准测试上的字符3-gram recall有时甚至超过了其70B参数的教师模型。

作者认为这很重要，因为它稳定了训练过程，并提高了语言遵循性和基于证据的正确性，而无需昂贵的全模型微调。