환각 자기대화가 진화된 생성기를 통해 검출기를 부트스트랩함

연구자들은 환각 검출기가 진화된 생성자를 사용하여 부트스트랩할 수 있는 프레임워크인 Hallucination Self-Play (HSP)를 소개했습니다. 이 방법은 고품질 주석 데이터의 부족을 해결하며, 생성자를 정적이지 않고 반복적으로 개선하는 방식을 가능하게 합니다.

이 프레임워크는 동일 기본 모델에서 두 역할을 초기화합니다: 신뢰도를 평가하는 검출기와 탐지하기 어려운 환각을 생성하는 생성기입니다. 검출기는 인간 레이블링 데이터로 파인튜닝되며, AI 피드백 기반 강화 학습(RLAIF)을 통해 생성자 훈련에 보상 모델로 사용됩니다. 진화된 생성기는 그 후 환각 데이터를 합성하여 규칙 기반 강화 학습을 통해 검출기를 추가로 최적화합니다.

RAGTruth 벤치마크 실험 결과, HSP가 외부 감독 없이 작은 LLM을 점진적으로 향상시켜 고급 LLM과 동등하거나 더 우수한 성능을 달성할 수 있음을 보여주었습니다.