Una evaluación preregistrada con control de placebo utilizando la metodología PoPE no encontró ningún beneficio operativo al proporcionar contenido de errores a modelos pequeños de código congelados durante la auto-reparación. El estudio trató los programas fallidos como conjeturas y los contraejemplos de ejecución como refutaciones, probando si esta evidencia falsable podía ser utilizada por el modelo.
- En el canal de prompts, una forma placebo con contenido ablativo desbloqueó 12 unidades en comparación con 10 para el brazo de patrón de error real en un conjunto resistente, resultando en un hallazgo nulo del mecanismo.
- En el canal de pesos utilizando entrenamiento de adaptador con datos pequeños, se observó un empate 8-8 entre el adaptador de contenido de errores y la línea base (p=1.0).
- Un adaptador placebo con SHA desorganizado se mantuvo adelante con 10 desbloqueos, pero no se confirmó una superioridad atribuible al contenido.
Los autores argumentan que cuando la representación aprendida del oráculo se escribe de nuevo en el estado de generación, la prueba se reemplaza por condicionamiento en lugar de mejora operativa.