Пререгистрированная оценка с плацебо-контролем, использующая методологию PoPE, не выявила операционных преимуществ от предоставления содержания ошибок замороженным малым моделям кода во время самоисправления. В исследовании неудачные программы рассматривались как гипотезы, а контрпримеры выполнения — как опровержения, проверялось, может ли эта фальсифицирующая информация быть использована моделью.
- В канале промптов форма с удаленным контентом (плацебо) обеспечила 12 успешных запусков по сравнению с 10 для группы с реальными паттернами ошибок на устойчивой выборке, что привело к выводу об отсутствии механизма влияния.
- В канале весов при обучении адаптера на малых данных наблюдалась ничья 8-8 между адаптером с содержанием ошибок и базовой линией (p=1.0).
- Адаптер плацебо с искаженным SHA оставался впереди с 10 запусками, но превосходство, объяснимое контентом, не было подтверждено.
Авторы утверждают, что когда представление, выученное от оракула, записывается обратно в состояние генерации, тестирование заменяется условным формированием, а не операционным улучшением.