Это исследование разлагает ценность обратной связи по самоисправлению в малых замороженных моделях кода с использованием дизайна с плацебо-контролем, чтобы определить, проистекают ли улучшения из повторного воздействия на отказывающий код или из исполняемой критики. Исследование ставит под сомнение стандартный механизм повтора, рассматривая сгенерированные программы как конъектуры, а нарушения тестового выполнения — как контрпримеры.
- Оценено 290 единиц задач с мертвыми ячейками в шести ячейках HumanEval+/MBPP+ с использованием трех замороженных моделей размером от 0.5B до 1.5B.
- Слепое повторное сэмплирование превзошло простой повторный запуск кода на +18 дополнительных разблокировок (p=0.0021).
- Обратная связь код+факты восстановила +18 по сравнению с простым кодом и +15 по сравнению с общим плацебо.
- Эффект только инструкций не был статистически отличим от плацебо.
- Фальсификация помогла благодаря сравнению с внешними, исполняемыми контрпримерами, а не лексиконом или самокритикой.
Выводы предполагают, что в условиях развертывания, где переобучение невозможно, ценность обратной связи проистекает из внешней, исполняемой критики, а не из простого воздействия на отказывающие выходы.