Benchmark · agentic

VisualWebArena

0 hasil 0 model

VisualWebArena mengukur seberapa baik agen otonom multimodal (mampu melihat) menyelesaikan tugas-tugas realistis dan berbasis visual di situs web nyata yang di-host sendiri (Classifieds, Shopping, Reddit); kinerja dilaporkan sebagai tingkat keberhasilan (success rate) keseluruhan atas 910 tugasnya.

Selengkapnya

Contoh: Tugas menjelajah yang dikondisikan oleh gambar: diberi gambar rujukan sebuah produk, agen harus menelusuri situs iklan baris atau belanja untuk menemukan listing yang cocok dengan barang pada gambar di bawah kendala tertentu (misalnya termurah, kondisi tertentu) lalu membukanya atau melaporkan detail yang diminta.
Penilaian: Metriknya adalah tingkat keberhasilan. Setiap tugas dinilai 0 atau 1 oleh fungsi imbalan programatik yang membandingkan jawaban akhir agen atau keadaan akhir situs dengan target yang telah ditentukan (kecocokan persis, keharusan memuat, atau kecocokan teks samar untuk jawaban; pemeriksaan URL/keadaan untuk tujuan navigasi atau transaksi). Skornya adalah proporsi tugas yang bernilai 1.
Verifikasi: Evaluasi berbasis eksekusi: agen mengendalikan peramban nyata pada aplikasi web yang di-host sendiri dalam lingkungan terisolasi (diatur ulang antar tugas demi reproduksibilitas), dan fungsi imbalan memeriksa hasilnya secara programatik, tanpa penilaian manusia. Sebuah tugas hanya dihitung jika pemeriksaan otomatisnya lulus.
Mengapa penting: Situs web nyata bersifat visual, dan pengamatan hanya-teks (pohon aksesibilitas atau HTML) melewatkan informasi yang berbasis gambar; VisualWebArena menguji apakah agen dapat sekaligus mempersepsi konten visual dan bertindak, mengungkap kesenjangan besar antara manusia dan agen serta mendorong teknik agen multimodal seperti prompting visual Set-of-Marks.

Contoh penyelesaian

Tugas

Lingkungan: situs Classifieds yang di-host sendiri. Maksud (dengan lampiran gambar rujukan sebuah kursi kantor): «Buka listing yang menjual barang pada gambar ini dan beri tahu saya harga yang dimintanya».

Solusi

Langkah utama: (1) amati gambar rujukan dan catat ciri visual khas kursi tersebut; (2) telusuri/cari di kategori furnitur situs Classifieds; (3) bandingkan thumbnail listing dengan gambar rujukan dan buka listing yang benar; (4) baca harga yang diminta di halaman listing itu; (5) kirimkan dengan aksi stop, mis. stop [<price>]. Jawaban akhir: harga persis yang tertera pada listing yang cocok (ilustratif, mis. stop [$45]).

Penjelasan

Ini benar karena tugas hanya dapat diselesaikan dengan mengaitkan gambar rujukan ke satu-satunya listing yang cocok (pencocokan visual yang tak bisa dilakukan tampilan hanya-teks), lalu mengekstrak nilai persis yang diminta. Penilaian: fungsi imbalan membandingkan jawaban yang dikirim dengan harga target melalui pencocokan string/samar, menghasilkan 0/1 biner yang masuk ke tingkat keberhasilan agregat.

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.