Une étude préenregistrée introduit PoPE (Popperian Placebo-controlled Evaluation) pour tester si des informations d'erreur spécifiques aident les LLMs de code gelés de petite taille à réparer leurs propres erreurs. La méthodologie associe des contre-exemples d'exécution à des placebos spécifiques au canal afin d'isoler l'effet du contenu de l'erreur de l'échafaudage structurel dans les canaux de prompt et de poids.
- Dans le canal de prompt, 12 unités ont été débloquées sous un placebo de forme ablatée de contenu par rapport à 10 sous le bras de motif d'erreur en direct sur une bande résistante de 40 unités, aboutissant à une découverte nulle au niveau du mécanisme.
- Dans le canal de poids utilisant l'entraînement d'adaptateur à petites données, un match nul 8-8 a été observé entre l'adaptateur de contenu d'erreur et la ligne de base sans intervention (p=1.0).
- L'adaptateur placebo dérégulé par SHA est resté en tête avec 10 déblocages, tandis que la supériorité attribuable au contenu n'a pas été confirmée.
Les résultats indiquent que lorsque la représentation apprise de l'oracle est réécrite dans l'état de génération, le test est remplacé par le conditionnement plutôt que par l'auto-réparation opérationnelle.