大規模な実証研究は、CLIコーディングエージェントにおける失敗の発生、進化、回復を分析するためのプロセス指向フレームワークを導入し、これらを最終的な結果ではなく時間的プロセスとして扱います。

  • 研究者たちは、Terminal-Bench上の3つのスケルトン（OpenHands、MiniSWE、Terminus2）において7つの最先端モデルから3,843の実行軌跡を収集しました。
  • フィルタリング後、63,000以上の実行ステップをカバーする1,794の完全かつ有効な軌跡が手動で注釈付けされました。
  • この分析により、失敗の発生、根本原因、回復、システム間の一貫性に関する14の知見が導き出されました。
  • 失敗は主に認識論的エラーによって引き起こされ、通常最初の数ステップ以内に始まり、回復が不可能になるまで隠れたままとなることが多いです。

著者たちは、コーディングエージェントの信頼性を向上させるには、最終結果の評価に依存するのではなく、より早期の検証と介入が必要であると主張しています。