Benchmark · agentic
Terminal-Bench
Terminal-Bench mengukur seberapa baik agen AI menyelesaikan tugas command-line nyata di terminal, seperti memasang perangkat lunak, debugging, dan operasi sistem. Skornya adalah persentase tugas yang berhasil diselesaikan agen.
Selengkapnya
- Contoh
- Tugas yang khas memberi agen sebuah environment yang rusak atau kosong dan memintanya mencapai kondisi berfungsi — misalnya memasang dependency yang tepat dan memperbaiki konfigurasi agar sebuah program berjalan, semuanya melalui perintah terminal.
- Penilaian
- Setiap tugas dinilai lulus atau gagal berdasarkan apakah agen mencapai kondisi akhir yang diminta, dan skor benchmark adalah persentase tugas yang berhasil diselesaikan dari total.
- Verifikasi
- Sebuah hasil hanya diterima jika pemeriksaan otomatis di dalam environment terisolasi (sandbox) memastikan hasil yang dituju dari tugas tercapai — bukan lewat suara manusia atau pencocokan teks yang persis.
- Mengapa penting
- Keterampilan terminal — memasang, debugging, dan mengoperasikan sistem dari command line — adalah inti pekerjaan rekayasa nyata, sehingga benchmark ini menunjukkan apakah agen dapat bertindak secara mandiri dan andal di command line sungguhan. Versi 2.x-nya yang lebih sulit menjaga standar tetap tinggi seiring agen makin baik.
Contoh penyelesaian
Tugas
Di dalam kontainer Docker Terminal-Bench, file /app/access.log berisi log akses Apache. Tulis satu perintah yang menghitung jumlah alamat IP klien yang berbeda (field pertama yang dipisahkan spasi pada setiap baris) dan menyimpan hanya angka itu ke /app/answer.txt.
Solusi
awk '{print $1}' /app/access.log | sort -u | wc -l > /app/answer.txtPenjelasan
awk mencetak field pertama (IP klien) dari setiap baris log, sort -u menghapus duplikat, dan wc -l menghitung IP unik yang tersisa, hasilnya dialihkan ke /app/answer.txt. Terminal-Bench menilainya dengan menjalankan uji pytest di dalam kontainer yang membaca /app/answer.txt dan memeriksa apakah sama dengan jumlah IP unik yang diketahui.