一项使用PoPE方法论的预注册安慰剂对照评估发现,在自我修复期间向冻结的小型代码模型提供错误内容并未带来任何操作上的好处。该研究将失败的程序视为猜想,将执行反例视为反驳,测试这种证伪证据是否可以被模型利用。

  • 在提示通道中,内容消融形式的安慰剂在抗性带上有12次解锁,而实时错误模式组有10次,导致机制无影响的结论。
  • 在使用小数据适配器训练的权重通道中,观察到错误内容适配器与基线之间为8-8平局(p=1.0)。
  • SHA紊乱的安慰剂适配器以10次解锁保持领先,但未确认可归因于内容的优势。

作者认为,当从预言机学到的表示被写回生成状态时,测试被条件化取代,而非操作改进。