研究者たちは、Terminal-Bench 2.0をリリースしました。これは、現在の指標では意味のある形で捉えられない、困難で現実的なコマンドラインインターフェースのタスクにおいてAIエージェントを評価するために設計されたベンチマークです。

このベンチマークは、コンピュータターミナル環境内の89の注意深く選別されたタスクで構成されており、それぞれが独自のセットアップ、人間による記述されたソリューション、包括的な検証テストを特徴としています。評価結果によると、最先端のモデルやエージェントはこれらのタスクで65%未満のスコアにとどまりました。著者たちは、モデルとエージェントの能力における改善すべき特定の領域を特定するためにエラー分析を行いました。

データセットと評価ハーネスは、ターミナル環境における自律的なタスク完了の進展を支援するために開発者と研究者向けに公開されています。