Le Self-Play d'Hallucination amorce le détecteur via un générateur évolué

Les chercheurs présentent Hallucination Self-Play (HSP), un cadre permettant à un détecteur d'hallucinations de s'amorcer en utilisant un générateur évolué. Cette méthode répond à la pénurie de données annotées de haute qualité en permettant une amélioration itérative plutôt que de traiter le générateur comme statique.

Le cadre initialise les deux rôles à partir du même modèle de base : un détecteur pour évaluer la fidélité et un générateur produisant des hallucinations difficiles à détecter. Le détecteur est affiné sur des données étiquetées par des humains et utilisé comme modèle de récompense pour entraîner le générateur via l'apprentissage par renforcement à partir de retours d'IA (RLAIF). Le générateur évolué synthétise ensuite des données d'hallucination pour optimiser davantage le détecteur via un apprentissage par renforcement basé sur des règles.

Les expériences sur le benchmark RAGTruth montrent que HSP peut progressivement améliorer un petit LLM pour atteindre ou dépasser les grands LLMs sans supervision externe.