Un estudio preregistrado introduce PoPE (Evaluación Controlada con Placebo Popperiana) para probar si información específica del error ayuda a los LLMs pequeños de código congelados a reparar sus propios errores. La metodología empareja contraejemplos de ejecución con placebos específicos por canal para aislar el efecto del contenido del error del andamiaje estructural tanto en canales de prompt como de peso.
- En el canal de prompt, 12 unidades se desbloquearon bajo un placebo de forma ablativa de contenido comparado con 10 bajo el brazo de patrón de error vivo en una banda resistente de 40 unidades, resultando en un hallazgo nulo del mecanismo.
- En el canal de peso usando entrenamiento de adaptador con datos pequeños, se observó un empate 8-8 entre el adaptador de contenido de error y la línea base sin intervención (p=1.0).
- El adaptador placebo SHA-deranged se mantuvo adelante con 10 desbloqueos, mientras que la superioridad atribuible al contenido no fue confirmada.
Los hallazgos indican que cuando la representación aprendida del oráculo se escribe de vuelta en el estado de generación, la prueba se reemplaza por condicionamiento en lugar de autocorrección operativa.