Hallucination Self-Play memulai detektor melalui generator yang berevolusi

Para peneliti memperkenalkan Hallucination Self-Play (HSP), sebuah kerangka kerja yang memungkinkan detektor halusinasi untuk memulai bootstrap menggunakan generator yang berevolusi. Metode ini mengatasi kelangkaan data ber anotasi berkualitas tinggi dengan memungkinkan peningkatan iteratif, bukan memperlakukan generator sebagai statis.

Kerangka kerja ini menginisialisasi kedua peran dari model dasar yang sama: sebuah detektor untuk menilai kesetiaan dan sebuah generator yang menghasilkan halusinasi yang sulit dideteksi. Detektor tersebut di-fine-tune pada data berlabel manusia dan digunakan sebagai model reward untuk melatih generator melalui reinforcement learning dari umpan balik AI (RLAIF). Generator yang berevolusi kemudian mensintesis data halusinasi untuk lebih mengoptimalkan detektor melalui reinforcement learning berbasis aturan.

Eksperimen pada benchmark RAGTruth menunjukkan bahwa HSP dapat secara progresif meningkatkan LLM kecil agar setara atau melebihi LLM canggih tanpa pengawasan eksternal.