TR-RAG menggunakan RL terregularisasi guru untuk memperbaiki drift bahasa RAG lintas-bahasa

Peneliti mengusulkan TR-RAG, sebuah metode pembelajaran penguatan terregularisasi guru yang mengatasi drift bahasa dan penggunaan bukti yang tidak dapat diandalkan dalam generasi yang diperkaya pencarian lintas-bahasa dengan bukti bahasa Inggris. Pendekatan ini menggabungkan optimasi imbalan dengan distilasi on-policy, menggunakan guru beku untuk menyediakan jangkar reverse-KL per awalan untuk jawaban yang disampel oleh siswa kompak.

• TR-RAG menggabungkan konsistensi bahasa, recall 3-gram karakter, dan skor hakim LLM ke dalam dekomposisi imbalan untuk generasi multibahasa.
• Jangkar guru mencegah runtuhnya konsistensi bahasa yang besar hingga ~27 poin persentase yang terlihat pada RL hanya-imbalan pada bahasa dalam-domain.
• Pada bahasa out-of-distribution yang jauh, metode ini meningkatkan grounding bukti di mana RL hanya-imbalan macet di langit-langit model dasar.
• Siswa kompak kadang-kadang melampaui gurunya 70B dalam recall 3-gram karakter di benchmark BioASQ-ENKB5, Hotpot-ENKB5, dan MKQA.

Para penulis menganggap ini penting karena menstabilkan pelatihan dan meningkatkan kepatuhan bahasa serta kebenaran grounded-bukti tanpa memerlukan fine-tuning model penuh yang mahal.