リアルタイムの回顧ボードを構築する90回の独立したエージェント実行の観測研究は、テストツールのような追加機能がソフトウェアの品質を向上させるという仮定に疑問を投げかける。研究により、HighからxHighへ推論努力を増やすことで、最初の試行で完璧な実行が28％から89％に上昇したのに対し、テストツールを追加すると機能スコアを改善することなくコストが42〜68％増加した。

  • フロンティアモデルは天井付近にクラスター化し、低コストのローカルモデルは42点満点の評価基準で24〜37点を記録した。
  • コンテナデプロイメントが主要な欠陥であり、実行の44％で最初の試行に失敗し、モデル世代間で失敗率が急激に変化した。
  • テストツールはコストを42〜68％増加させたが、機能スコアや信頼性を向上させなかった。
  • デザイン指向のプロンプトは、機能に影響を与えずに視覚品質を5段階評価で3.0から4.5へ引き上げた。

本研究は、失敗に対する修正の一致が重要であると結論付けており、最初の試行の失敗の多くはチェックツールが捉える目に見える欠陥ではなく、弱い推論に起因しているためである。