TR-RAG utilise un RL régularisé par enseignant pour corriger la dérive linguistique du RAG interlingual

Les chercheurs proposent TR-RAG, une méthode d'apprentissage par renforcement régularisé par enseignant qui traite de la dérive linguistique et de l'utilisation peu fiable des preuves dans la génération augmentée par recherche interlinguale avec des preuves en anglais. L'approche couple l'optimisation de la récompense avec la distillation on-policy, utilisant un enseignant gelé pour fournir des ancres inverse-KL par préfixe pour les réponses échantillonnées par un étudiant compact.

• TR-RAG combine la cohérence linguistique, le rappel des 3-grammes de caractères et les scores de juge LLM dans une décomposition de récompense pour la génération multilingue.
• L'ancre enseignant empêche les effondrements importants de cohérence linguistique allant jusqu'à ~27 points de pourcentage observés dans le RL uniquement par récompense sur les langues du domaine.
• Pour les langues hors distribution éloignées, la méthode améliore l'ancrage des preuves là où le RL uniquement par récompense stagne au plafond du modèle de base.
• L'étudiant compact dépasse parfois son enseignant 70B en rappel des 3-grammes de caractères sur les benchmarks BioASQ-ENKB5, Hotpot-ENKB5 et MKQA.

Les auteurs considèrent cela important car cela stabilise l'entraînement et améliore à la fois l'adhérence linguistique et la correction ancrée aux preuves sans nécessiter de fine-tuning complet coûteux.