Los investigadores proponen TR-RAG, un método de aprendizaje por refuerzo con regularización del maestro que aborda la deriva lingüística y el uso poco fiable de evidencias en la generación aumentada con recuperación (RAG) multilingüe basada en evidencias en inglés. El enfoque acopla la optimización de la recompensa con la destilación on-policy, utilizando un maestro congelado para proporcionar anclas de reverse-KL por prefijo para las respuestas muestreadas por un estudiante compacto.
- TR-RAG combina consistencia lingüística, recall de 3-gramas de caracteres y puntuaciones de LLM-judge en una descomposición de recompensa para la generación multilingüe.
- El ancla del maestro previene colapsos grandes de consistencia lingüística de hasta ~27 puntos porcentuales observados en RL solo con recompensa en idiomas dentro del dominio.
- En idiomas fuera de distribución distantes, el método mejora la fundamentación de la evidencia donde el RL solo con recompensa se estanca en el techo del modelo base.
- El estudiante compacto a veces supera a su maestro de 70B en recall de 3-gramas de caracteres en los benchmarks BioASQ-ENKB5, Hotpot-ENKB5 y MKQA.
Los autores consideran esto importante porque estabiliza el entrenamiento y mejora tanto la adherencia lingüística como la corrección fundamentada en evidencias sin requerir un ajuste fino completo costoso del modelo.