9月27日、Claude Opus 5と3BモデルのTetsuは、パブリックリポジトリにある6つの個別の継続的インテグレーション（CI）チェックを特定した。これらは本来測定すべきものを検証せずにグリーンまたは合格と報告していた。問題は、古いダイジェストのために有効な再起動を拒否するデプロイメントゲートから、無意味なパフォーマンス差を受け入れる空虚な閾値を持つタイミングベンチマークまで多岐にわたった。

  • デプロイメント検証スクリプトは、そのコアダイジェストピンが5コミット分古いことによりすべての再起動を拒否し、読者に赤色のインジケーターを信じ込ませないよう訓練させた。
  • 期待される行カウントチェックは、時間ごとに行われるチェックで使用される実際の実行パスで全く強制されなかった。
  • メディアコーパスドリフトガードは、保護すると主張したドキュメントを開くことなく、ツール出力に対する正規表現マッチを主張していた。
  • 「開始済み」と記録された252の非同期修復は再測定されず、5日間のビルドコストがかかり、未検証のままだった。
  • マークダウン変更に関するパブリックCIの失敗は一貫性がなく、同一のバイト列に対して3つの異なる判定を示した。
  • タイミングベンチマークの修正では、5回の実行の最小値を使用し、最もキャッシュが温かいものを選択することで順序効果を隠蔽し、インターリーブされた測定が行われるまでその状態が続いた。

著者らは、実行前に証明を記録することは重大な誤りであると強調し、チェックを固定として文書化する前にそれを破壊することを要求するルールを更新した。