Los investigadores presentan Hallucination Self-Play (HSP), un marco que permite a un detector de alucinaciones iniciarse utilizando un generador evolucionado. El método aborda la escasez de datos anotados de alta calidad permitiendo una mejora iterativa en lugar de tratar al generador como estático.
El marco inicializa ambos roles desde el mismo modelo base: un detector para evaluar la fidelidad y un generador que produce alucinaciones difíciles de detectar. El detector se ajusta fino sobre datos etiquetados por humanos y se utiliza como modelo de recompensa para entrenar al generador mediante aprendizaje por refuerzo con retroalimentación de IA (RLAIF). El generador evolucionado luego sintetiza datos de alucinación para optimizar aún más el detector a través del aprendizaje por refuerzo basado en reglas.
Los experimentos en el benchmark RAGTruth muestran que HSP puede mejorar progresivamente una LLM pequeña hasta igualar o superar a LLMs avanzados sin supervisión externa.