Benchmark · agentic

Android World

0 hasil 0 model

AndroidWorld adalah benchmark sekaligus lingkungan emulator langsung (Google, 2024) untuk agen otonom yang mengendalikan perangkat Android sungguhan; berisi 116 tugas buatan tangan di 20 aplikasi nyata, dengan metrik berupa tingkat keberhasilan tugas (success rate).

Selengkapnya

Contoh: Agen diberi tujuan dalam bahasa alami dan harus mengoperasikan aplikasi nyata untuk mencapainya — misalnya, di aplikasi kalender, membuat acara dengan judul, tanggal, dan waktu tertentu dengan mengetuk, mengetik, dan menggulir antarmuka langsung.
Penilaian: Setiap tugas memberi imbalan biner: 1 jika keadaan akhir perangkat memenuhi syarat keberhasilan tugas, dan 0 jika tidak. Skornya adalah tingkat keberhasilan, yaitu proporsi tugas yang terselesaikan, dirata-ratakan atas seluruh set (tugas diparameterisasi dengan nilai acak, sehingga tiap eksekusi berbeda).
Verifikasi: Keberhasilan diperiksa secara terprogram dengan memeriksa keadaan sistem/aplikasi pada perangkat setelah eksekusi (misalnya mengueri basis data, berkas, atau pengaturan sebuah aplikasi), bukan dengan mencocokkan jejak tindakan atau memakai juri LLM — sehingga imbalan bersifat tahan lama dan dapat direproduksi.
Mengapa penting: Ia mengevaluasi agen pada kendali perangkat seluler yang realistis dan terbuka dengan imbalan yang dapat diverifikasi; parameter acak mencegah hafalan, dan aplikasi nyata ditambah penilaian berbasis keadaan menjadikannya wahana uji yang tahan lama dan dapat direproduksi untuk agen multimodal pengguna komputer.

Contoh penyelesaian

Tugas

Tugas (keluarga ContactsAddContact): «Buat kontak baru untuk Grace Taylor. Nomor teleponnya 555-123-4567.» Agen bertindak pada aplikasi Kontak langsung melalui pohon aksesibilitas dan tangkapan layar.

Solusi

Buka aplikasi Kontak → ketuk «Tambah kontak» → masukkan nama Grace Taylor → masukkan nomor 555-123-4567 → ketuk «Simpan». Keadaan akhir: penyimpanan kontak perangkat kini berisi kontak bernama Grace Taylor dengan nomor 555-123-4567.

Penjelasan

Ini benar karena pemeriksa keberhasilan tugas mengueri kontak pada perangkat dan memastikan ada kontak dengan nama dan nomor persis seperti target; penilaian berupa pemeriksaan keadaan biner (imbalan 1/0), tak bergantung pada cara agen mencapainya.

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.