Cette étude décompose la valeur du feedback d'auto-réparation dans les petits modèles de code gelés en utilisant une conception contrôlée par placebo pour déterminer si les améliorations proviennent de la réexposition au code défaillant ou d'une critique exécutable. La recherche remet en cause le mécanisme de retry standard en traitant les programmes générés comme des conjectures et les violations d'exécution de test comme des contre-exemples.
- Évaluation de 290 unités de cellules de tâches mortes sur six cellules HumanEval+/MBPP+ en utilisant trois modèles gelés de 0,5 à 1,5 milliards de paramètres.
- Le rééchantillonnage aveugle a dépassé le retry de code brut par +18 débloquages nets (p=0,0021).
- Le feedback code-plus-faits a récupéré +18 sur le code brut et +15 sur un placebo générique-bullet.
- Un effet uniquement basé sur les instructions n'était pas statistiquement distinguishable du placebo.
- La falsification a aidé en tant que comparaison avec des contre-exemples externes et exécutables plutôt qu'avec le vocabulaire ou l'auto-critique.
Les résultats suggèrent que dans les paramètres de déploiement où le réentraînement est irréalisable, la valeur du feedback provient d'une critique externe et exécutable plutôt que d'une simple exposition aux sorties défaillantes.