研究发现，通过外部反例进行的证伪比自我暴露更能提升冻结代码模型的修复效果

本研究利用安慰剂对照设计分解了小型冻结代码模型中自我修复反馈的价值，以确定改进是源于对失败代码的重新暴露还是可执行批评。该研究通过将生成的程序视为猜想、将测试执行违规视为反例，挑战了标准的重试机制。

• 在六个 HumanEval+/MBPP+ 单元格中评估了 290 个死任务单元，使用了三个 0.5B-1.5B 的冻结模型。
• 盲重采样比裸代码重试多净解锁 +18 (p=0.0021)。

• 代码加事实反馈比裸代码多恢复 +18，比通用安慰剂多恢复 +15。
• 仅指令效应在统计上与安慰剂无显著差异。
• 证伪之所以有效，是因为与外部可执行反例进行比较，而非词汇或自我批评。

研究结果表明，在无法进行重新训练的部署环境中，反馈的价值来源于外部的、可执行的批评，而非仅仅是对失败输出的暴露。