Пререгистрированное исследование вводит PoPE (Popperian Placebo-controlled Evaluation) для проверки того, помогает ли специфическая информация об ошибках замороженным малым языковым моделям кода исправлять собственные ошибки. Методология связывает контрпримеры выполнения с плацебо-контролем по каналам, чтобы изолировать влияние содержания ошибок от структурной поддержки в каналах промпта и весов.
- В канале промпта 12 единиц разблокировано под формой плацебо с удаленным содержанием по сравнению с 10 под живым паттерном ошибки на 40-единичном устойчивом банде, что привело к механизму-нулевому результату.
- В канале весов при обучении адаптера на малых данных наблюдалось равенство 8-8 между адаптером с содержанием ошибки и базовой линией без вмешательства (p=1.0).
- Адаптер SHA-deranged плацебо остался впереди с 10 разблокировками, а превосходство, обусловленное содержанием, не подтверждено.
Выводы указывают на то, что когда представление, изученное из оракула, записывается обратно в состояние генерации, тестирование заменяется условным формированием вместо операционного самовосстановления.