Pesquisadores propõem o TR-RAG, um método de aprendizado por reforço com regularização do professor que aborda a deriva linguística e o uso não confiável de evidências na geração aumentada por recuperação (RAG) cross-lingual baseada em evidências em inglês. A abordagem acopla a otimização da recompensa com destilação on-policy, usando um professor congelado para fornecer âncoras reverse-KL por prefixo para as respostas amostradas por um estudante compacto.
- O TR-RAG combina consistência linguística, recall de 3-gramas de caracteres e pontuações do LLM-judge em uma decomposição de recompensa para geração multilíngue.
- A âncora do professor previne colapsos grandes de consistência linguística de até ~27 pontos percentuais observados no RL apenas com recompensa em idiomas dentro do domínio.
- Em idiomas distantes fora da distribuição, o método melhora a fundamentação da evidência onde o RL apenas com recompensa estagna no teto do modelo base.
- O estudante compacto às vezes supera seu professor de 70B no recall de 3-gramas de caracteres nos benchmarks BioASQ-ENKB5, Hotpot-ENKB5 e MKQA.
Os autores consideram isso importante porque estabiliza o treinamento e melhora tanto a aderência linguística quanto a correção fundamentada em evidências sem exigir fine-tuning completo do modelo caro.