本研究は、小規模な凍結コードモデルにおける自己修復フィードバックの価値を、プラセボ対照設計を用いて分解し、改善が失敗するコードへの再曝露に起因するのか、それとも実行可能な批判に起因するのかを明らかにした。この研究は、生成されたプログラムを仮説とし、テスト実行違反を反例として扱うことで、標準的なリトライメカニズムに疑問を投げかける。
- 3つの0.5B〜1.5Bパラメータの凍結モデルを用い、6つのHumanEval+/MBPP+セルにわたる290個のデッドタスクセルユニットを評価した。
- ブラインド再サンプリングは、単なるコードのリトライよりも+18件のネットアンロック（p=0.0021）で上回った。
- コードプラス事実フィードバックは、単なるコードよりも+18、ジェネリック・バレットプラセボよりも+15の改善をもたらした。
- 指示のみによる効果は、プラセボと統計的に区別できなかった。
- falsificationは、語彙や自己批判ではなく、外部の実行可能な反例との比較によって効果を発揮した。
これらの知見は、再学習が実行不可能なデプロイメント環境において、フィードバックの価値は失敗する出力への単なる曝露ではなく、外部の実行可能な批判に由来することを示唆している。