一项预注册研究引入了PoPE(波普尔式安慰剂对照评估),以测试特定的错误信息是否有助于冻结的小型代码大语言模型修复其自身的错误。该方法论将执行反例与按通道特定的安慰剂配对,以隔离错误内容的影响,而非提示和权重通道中的结构支撑。
- 在提示通道中,在40个单元的抗性带下,内容消融形式的安慰剂相比实时错误模式臂解锁了12个单元,而后者为10个,结果为机制空值发现。
- 在使用小数据适配器训练的权重通道中,观察到错误内容适配器与无干预基线之间出现8-8平局(p=1.0)。
- SHA-deranged安慰剂适配器以10次解锁保持领先,而可归因于内容的优势未得到确认。
研究结果表明,当从预言机学到的表示被写回生成状态时,测试被条件化取代,而非操作性自我修复。