Este estudio descompone el valor de la retroalimentación de autorreparación en modelos pequeños de código congelado utilizando un diseño controlado con placebo para determinar si las mejoras provienen de la reexposición al código fallido o de una crítica ejecutable. La investigación desafía el mecanismo estándar de reintento al tratar los programas generados como conjeturas y las violaciones de ejecución de pruebas como contraejemplos.
- Se evaluaron 290 unidades de celdas de tareas muertas en seis celdas HumanEval+/MBPP+ utilizando tres modelos congelados de 0.5B a 1.5B.
- El remuestreo ciego superó al reintento de código sin procesar en +18 desbloqueos netos (p=0.0021).
- La retroalimentación de código más hechos recuperó +18 sobre el código sin procesar y +15 sobre un placebo genérico.
- Un efecto solo de instrucciones no fue estadísticamente distinguible del placebo.
- La falsificación ayudó mediante la comparación con contraejemplos externos y ejecutables en lugar de vocabulario o autocritica.
Los hallazgos sugieren que en entornos de despliegue donde el reentrenamiento es inviable, el valor de la retroalimentación proviene de una crítica externa y ejecutable en lugar de la mera exposición a salidas fallidas.