Este estudo decompõe o valor do feedback de autorreparo em modelos pequenos de código congelado usando um desenho controlado por placebo para determinar se as melhorias derivam da reexposição ao código falho ou de uma crítica executável. A pesquisa desafia o mecanismo padrão de retry ao tratar programas gerados como conjecturas e violações de execução de teste como contraexemplos.
- Avaliadas 290 unidades de células de tarefa mortas em seis células HumanEval+/MBPP+ usando três modelos congelados de 0.5B a 1.5B.
- O remostragem cega superou o retry de código nu por +18 desbloqueios líquidos (p=0.0021).
- O feedback de código+fatos recuperou +18 sobre código nu e +15 sobre um placebo genérico.
- Um efeito apenas de instrução não foi estatisticamente distinguível do placebo.
- A falsificação ajudou por comparação com contraexemplos externos e executáveis, em vez de vocabulário ou autocrítica.
Os achados sugerem que em configurações de implantação onde o retreinamento é inviável, o valor do feedback deriva de uma crítica externa e executável, em vez da mera exposição a saídas falhas.