研究人员推出了 TestEvo-Bench,这是一个实时基准,旨在评估智能体处理软件测试和代码协同进化的能力。与依赖静态元数据的现有基准不同,该框架使用真实的提交历史和配置环境来验证可执行的指标,如通过率(pass rate)和覆盖率。
该基准包含两个赛道:测试生成,即智能体为新行为编写新测试;以及测试更新,即智能体将失败的测试适配到已更改的代码中。它包含从 152 个开源 Java 项目中整理的 746 个测试生成任务和 509 个测试更新任务。该基准的实时性质允许评估仅限于晚于模型训练截止日期的任务,以减少数据泄露。
结合 Claude Code、Gemini CLI 和 SWE-Agent 的智能体实验显示,在测试生成上的成功率高达 77.5%,在测试更新上为 74.6%。然而,在近期任务和严格的单任务成本限制下,性能显著下降。