研究人员发布了 Terminal-Bench 2.0，这是一个旨在评估 AI 智能体在困难、真实的命令行界面任务上表现的基准测试，而当前的指标无法有意义地捕捉这些任务的特性。

该基准测试包含 89 个精心策划的计算机终端环境任务，每个任务都有独特的设置、人工编写的解决方案以及全面的验证测试。评估结果显示，前沿模型和智能体在这些任务上的得分低于 65%。作者进行了错误分析，以识别模型和智能体能力中需要改进的具体领域。

数据集和评估工具已发布，旨在帮助开发者和研究人员推进终端环境中的自主任务完成。