저자들은 검색 증강 생성(RAG)에서 검색된 컨텍스트가 모델의 매개변수 지식과 충돌할 때의 취약성을 해결하기 위해 설계된 레짐 인식 피어 전문화 프레임워크인 RAPS-DA를 제안합니다. 이 접근 방식은 전문화된 피어를 훈련하고 표적화된 감독을 적용하여 서로 다른 신뢰성 레짐 간에 호환되지 않는 학습 신호를 분리합니다.
충돌은 Grounding, Arbitration, Resistance의 세 가지 레짐으로 분류되며, 공유 기본 모델에서 각 레짐당 동일한 규모의 피어 전문가가 훈련됩니다. 샘플은 샘플 수준의 온-폴리시 역 KL(reverse-KL) 감독을 위해 일치하는 피어로 하드 라우팅됩니다. 이중 계층 선택기는 교사 간 불일치와 학생 엔트로피를 기반으로 정보 없는 토큰을 필터링하고 확신 있게 정렬되지 않은 토큰의 가중치를 높입니다. 이 방법은 고정된 모델 규모에서 전문화를 통해 이점을 얻으며, 피어 전문가는 훈련 동안에만 존재합니다. 실험 결과는 RAPS-DA가 5가지 충돌 시나리오와 두 개의 분포 밖(out-of-distribution) 벤치마크에서 모든 프롬프팅, 디코딩, 파인튜닝, RL 및 단일 교사 기반라인을 능가함을 보여줍니다.
이 프레임워크는 배포된 학생 모델이 레이블이나 추론 중 피어 전문가에 대한 접근 없이도 이질적인 지식 충돌을 처리할 수 있게 합니다.