Peneliti telah merilis Terminal-Bench 2.0, sebuah benchmark yang dirancang untuk mengevaluasi agen AI pada tugas antarmuka baris perintah yang sulit dan realistis yang gagal ditangkap secara bermakna oleh metrik saat ini.
Benchmark ini terdiri dari 89 tugas yang dikurasi dengan cermat dalam lingkungan terminal komputer, masing-masing memiliki pengaturan unik, solusi yang ditulis manusia, dan uji verifikasi komprehensif. Hasil evaluasi menunjukkan bahwa model dan agen terdepan mendapat skor kurang dari 65% pada tugas-tugas ini. Para penulis melakukan analisis kesalahan untuk mengidentifikasi area spesifik untuk peningkatan kemampuan model dan agen.
Dataset dan harness evaluasi dipublikasikan untuk membantu pengembang dan peneliti dalam memajukan penyelesaian tugas otonom di lingkungan terminal.