研究者らは、ソフトウェアテストとコードの共進化においてエージェントがどの程度対応できるかを評価するために設計されたライブベンチマークであるTestEvo-Benchを紹介している。既存のベンチマークが静的メタデータに依存するのに対し、このフレームワークは実際のコミット履歴と環境設定を使用し、パス率やカバレッジなどの実行可能メトリクスを検証する。

このベンチマークには2つのトラックが含まれている：新しい動作に対してエージェントが新規テストを記述する「テスト生成」と、変更されたコードに対して失敗したテストを適応させる「テスト更新」である。152のオープンソースJavaプロジェクトから厳選された746件のテスト生成タスクと509件のテスト更新タスクで構成されている。このベンチマークのライブな性質により、モデルの学習データカットオフ日以降のタスクに限定して評価を行うことができ、データリーケージを軽減できる。

Claude Code、Gemini CLI、SWE-Agentを組み合わせたエージェントに関する実験では、テスト生成において最大77.5%、テスト更新において74.6%の成功率が示された。しかし、最近のタスクや1タスクあたりのコスト制約が厳しい条件下では、パフォーマンスが大幅に低下した。