Исследователи представляют Hallucination Self-Play (HSP), фреймворк, позволяющий детектору галлюцинаций использовать самонастраивающийся подход с помощью эволюционировавшего генератора. Метод решает проблему нехватки высококачественных аннотированных данных за счёт итеративного улучшения, а не статического подхода к генератору.

Фреймворк инициализирует обе роли из одной базовой модели: детектор для оценки достоверности и генератор, создающий сложные для обнаружения галлюцинации. Детектор дообучается на данных с человеческими метками и используется как модель вознаграждения для обучения генератора через обучение с подкреплением от обратной связи ИИ (RLAIF). Эволюционировавший генератор затем синтезирует данные галлюцинаций для дальнейшей оптимизации детектора через правил-ориентированное обучение с подкреплением.

Эксперименты на бенчмарке RAGTruth показывают, что HSP может постепенно улучшать малую LLM до уровня продвинутых LLM без внешнего контроля.