Uma avaliação preregistrada com controle placebo usando a metodologia PoPE não encontrou benefício operacional ao fornecer conteúdo de erros para modelos pequenos de código congelados durante a auto-reparação. O estudo tratou programas falhos como conjecturas e contraexemplos de execução como refutações, testando se essa evidência falsificável poderia ser usada pelo modelo.
- No canal de prompt, uma forma placebo com conteúdo ablativo desbloqueou 12 unidades em comparação com 10 para o braço do padrão de erro real em um conjunto resistente, resultando em uma descoberta nula de mecanismo.
- No canal de pesos usando treinamento de adaptador com dados pequenos, foi observado um empate 8-8 entre o adaptador de conteúdo de erros e a linha de base (p=1.0).
- Um adaptador placebo com SHA desorganizado permaneceu à frente com 10 desbloqueios, mas a superioridade atribuível ao conteúdo não foi confirmada.
Os autores argumentam que quando a representação aprendida do oráculo é escrita de volta no estado de geração, o teste é substituído por condicionamento em vez de melhoria operacional.