연구자들은 영어 증거 기반 크로스링구얼 검색 증강 생성에서의 언어 드리프트와 신뢰할 수 없는 증거 사용을 해결하는 교사 정규화 강화 학습 방법인 TR-RAG을 제안합니다. 이 접근 방식은 보상 최적화와 온-정책 증류를 결합하며, 컴팩트한 학생 모델이 샘플링한 답변에 대해 고정된 교사가 접두사별 역 KL 앵커를 제공합니다.
- TR-RAG은 다국어 생성을 위해 언어 일관성, 문자 3-그램 재현율 및 LLM 판정 점수를 보상 분해로 결합합니다.
- 교사 앵커는 도메인 내 언어에서 보상 전용 RL에서 관찰되는 최대 약 27퍼센트 포인트에 달하는 큰 언어 일관성 붕괴를 방지합니다.
- 먼 분포 밖 언어에서는 이 방법이 보상이 전이 모델의 한계에 도달하여 멈출 때 증거 기반화를 개선합니다.
- 컴팩트한 학생 모델은 BioASQ-ENKB5, Hotpot-ENKB5 및 MKQA 벤치마크에서 문자 3-그램 재현율 측면에서 70B 교사를 능가하는 경우가 있습니다.
저자들은 이것이 비용이 많이 드는 전체 모델 파인튜닝 없이도 훈련을 안정화하고 언어 준수성과 증거 기반 정확성 모두를 개선하기 때문에 중요하다고 생각합니다.