TR-RAG использует регуляризацию учителя в RL для исправления языкового дрейфа в кросс-лингвальном RAG

Исследователи предлагают TR-RAG, метод обучения с подкреплением с регуляризацией учителя, который решает проблему языкового дрейфа и ненадежного использования доказательств в кросс-лингвальной retrieval-augmented generation на основе английских доказательств. Подход сочетает оптимизацию вознаграждения с дистилляцией on-policy, используя замороженного учителя для предоставления якорей обратного KL по префиксам для ответов, сэмплируемых компактным студентом.

• TR-RAG объединяет языковую согласованность, recall 3-грамм символов и оценки LLM-judge в декомпозицию вознаграждения для многоязычной генерации.
• Якорь учителя предотвращает крупные коллапсы языковой согласованности до ~27 процентных пунктов, наблюдаемые при RL только с вознаграждением на языках из распределения обучения.
• На далеких языках вне распределения метод улучшает привязку доказательств там, где RL только с вознаграждением упирается в потолок базовой модели.
• Компактный студент иногда превосходит своего учителя на 70B по recall 3-грамм символов на бенчмарках BioASQ-ENKB5, Hotpot-ENKB5 и MKQA.

Авторы считают это важным, потому что это стабилизирует обучение и улучшает как соблюдение языка, так и корректность, основанную на доказательствах, без необходимости дорогостоящей полной тонкой настройки модели.