研究者らは、幻覚検出器が進化型生成器を使用してブートストラップできるようにするフレームワーク「Hallucination Self-Play (HSP)」を紹介した。この手法は、高品質な注釈付きデータの不足に対処し、生成器を静的なものとして扱うのではなく、反復的な改善を可能にする。

このフレームワークは、忠実度を評価するための検出器と、検出が難しい幻覚を生成する生成器の両方を、同じベースモデルから初期化する。検出器は人間によるラベル付けデータでファインチューニングされ、AIフィードバックからの強化学習(RLAIF)を通じて生成器のトレーニングに報酬モデルとして使用される。その後、進化型生成器が幻覚データを合成し、ルールベースの強化学習を通じて検出器のさらなる最適化を行う。

RAGTruthベンチマークでの実験により、HSPが外部監督なしで小さなLLMを段階的に強化し、高度なLLMと同等またはそれ以上の性能を発揮できることが示された。