PoPE手法を用いたプレレジストレーション済み、プラセボ対照評価により、自己修復中に凍結された小規模コードモデルにエラー内容を提供しても運用上の利点がないことが判明した。本研究は失敗したプログラムを仮説、実行の反例を反証として扱い、この反証証拠がモデルによって利用可能かどうかを検証した。

  • プロンプトチャネルでは、コンテンツ除去型のプラセボが抵抗のあるバンドで12ユニットのアンロックを実現し、ライブエラーパターン群の10ユニットを上回り、機構的に無効な結果となった。
  • 小規模データアダプター学習を用いたウェイトチャネルでは、エラー内容アダプターとベースライン間で8対8のタイが観測された（p=1.0）。
  • SHAに狂気を与えられたプラセボアダプターは10回のアンロックで首位を維持したが、コンテンツ帰属可能な優位性は確認されなかった。

著者らは、オラクルから学習した表現が生成状態に書き戻される際、テストは運用上の改善ではなく条件付けに置き換えられると主張している。