Pesquisadores introduzem o Hallucination Self-Play (HSP), um framework que permite a um detector de alucinações se auto-iniciar usando um gerador evoluído. O método aborda a escassez de dados anotados de alta qualidade ao permitir melhoria iterativa em vez de tratar o gerador como estático.
O framework inicializa ambos os papéis a partir do mesmo modelo base: um detector para avaliar a fidelidade e um gerador que produz alucinações difíceis de detectar. O detector é ajustado fino em dados rotulados por humanos e usado como modelo de recompensa para treinar o gerador via aprendizado por reforço com feedback de IA (RLAIF). O gerador evoluído então sintetiza dados de alucinação para otimizar ainda mais o detector através de aprendizado por reforço baseado em regras.
Experimentos no benchmark RAGTruth mostram que o HSP pode melhorar progressivamente uma LLM pequena para igualar ou superar LLMs avançados sem supervisão externa.