Une évaluation préenregistrée et contrôlée par placebo utilisant la méthodologie PoPE n'a trouvé aucun avantage opérationnel à fournir du contenu d'erreur aux petits modèles de code gelés lors de l'auto-réparation. L'étude a traité les programmes échoués comme des conjectures et les contre-exemples d'exécution comme des réfutations, testant si cette preuve falsifiante pouvait être utilisée par le modèle.
- Dans le canal de prompt, une forme placebo ablatée du contenu a débloqué 12 unités par rapport à 10 pour le bras de motif d'erreur en direct sur une bande résistante, aboutissant à un résultat nul au niveau du mécanisme.
- Dans le canal de poids utilisant l'entraînement d'adaptateur à petites données, un match nul 8-8 a été observé entre l'adaptateur de contenu d'erreur et la ligne de base (p=1.0).
- Un adaptateur placebo dérégulé par SHA est resté en tête avec 10 débloquages, mais la supériorité attribuable au contenu n'a pas été confirmée.
Les auteurs soutiennent que lorsque la représentation apprise à partir de l'oracle est réécrite dans l'état de génération, le test est remplacé par un conditionnement plutôt qu'une amélioration opérationnelle.