Benchmark · agentic
WebArena
WebArena menguji apakah agen web otonom dapat menyelesaikan tugas nyata yang berlangkah banyak pada sekumpulan situs web realistis yang di-host sendiri — toko online, sebuah forum, dan sistem manajemen konten (CMS). Metriknya adalah task success rate (tingkat keberhasilan tugas): persentase tugas yang diselesaikan agen dengan benar.
Selengkapnya
- Contoh
- Contoh tugas yang khas: «temukan produk termurah dalam sebuah kategori dan tambahkan dua unit ke keranjang», yang harus dicapai agen dengan menjelajah, mengeklik, dan mengetik di situs sungguhan.
- Penilaian
- Metriknya adalah tingkat keberhasilan tugas: jumlah tugas yang selesai dibagi total tugas, dinyatakan dalam persentase.
- Verifikasi
- Setiap tugas disertai pemeriksa programatis yang memverifikasi hasil secara otomatis — dengan mencocokkan jawaban yang diharapkan atau memeriksa keadaan akhir situs — sehingga penilaian dilakukan mesin, bukan manusia.
- Mengapa penting
- Ia menunjukkan apakah agen LLM benar-benar bisa mengoperasikan situs web nyata dari ujung ke ujung — pengujian yang lebih sulit dan praktis daripada tugas web satu langkah atau sintetis — sehingga menjadi tolok ukur penting bagi otomasi web berbasis agen.
Contoh penyelesaian
Tugas
Anda adalah agen web otonom di lingkungan GitLab swakelola milik WebArena: Anda mengamati accessibility tree halaman dan pada setiap langkah mengeluarkan satu aksi dari ruang aksi WebArena (misalnya
click [id], type [id] [text] [enter], goto [url], stop [answer]). Tujuan: buat issue baru berjudul Bug: login button unresponsive di repositori a11yproject/a11yproject.com dan tetapkan ke diri Anda sendiri.Solusi
goto [http://gitlab.webarena/a11yproject/a11yproject.com/-/issues/new]
type [1023] [Bug: login button unresponsive] [0]
click [1187] # open the Assignee dropdown
click [1203] # choose "Assign to me"
click [1250] # click the "Create issue" button
stop [N/A]Penjelasan
Trajektori membuka formulir issue baru, mengetik judul yang tepat, menetapkannya ke diri sendiri lewat menu assignee, lalu mengirimkannya;
stop [N/A] mengakhiri episode karena tugas mengubah state alih-alih mengembalikan sebuah nilai. Evaluator program_html WebArena memuat ulang issue yang dibuat dan memeriksa DOM secara fungsional — judul sama dengan string dan assignee sama dengan pengguna yang login — sehingga hasil yang nyaris benar mendapat nilai 0.