Benchmark · agentic
Windows Agent Arena
Windows Agent Arena (WAA) adalah benchmark yang dapat direproduksi untuk mengevaluasi agen AI multimodal pada 154 tugas nyata yang dijalankan di dalam lingkungan Windows 11 yang hidup; metrik utamanya adalah tingkat keberhasilan tugas — proporsi tugas yang diselesaikan agen dengan benar.
Selengkapnya
- Contoh
- Sebuah tipe tugas: mengoperasikan aplikasi desktop nyata untuk mencapai keadaan target hanya dengan tangkapan layar dan pohon aksesibilitas (accessibility tree) — misalnya mengubah opsi di Windows Settings, mengedit spreadsheet di LibreOffice Calc, memasang ekstensi di VS Code, atau menyelesaikan tugas penjelajahan di Chrome.
- Penilaian
- Setiap tugas dilengkapi skrip reward deterministik yang pada akhir episode memeriksa keadaan akhir mesin virtual (berkas, nilai registry, keluaran aplikasi) dan mengembalikan skor per tugas, biasanya keberhasilan biner (1/0). Skor benchmark adalah rata-rata tingkat keberhasilan atas seluruh 154 tugas; run penuh diparalelkan di mesin virtual Azure.
- Verifikasi
- Suatu hasil hanya dihitung jika validator bawaan tugas mengonfirmasi keadaan akhir target di lingkungan nyata, bukan dengan mencocokkan teks atau log tindakan agen. Agen memiliki anggaran tindakan/langkah yang tetap; melampauinya atau meninggalkan keadaan yang salah bernilai 0. Run bersifat reproducible karena image mesin virtual dan konfigurasi tugas telah ditetapkan.
- Mengapa penting
- Ini menguji apakah agen benar-benar dapat mengoperasikan sistem operasi yang utuh dan nyata — menavigasi antarmuka grafis dari banyak aplikasi sehari-hari — bukan sekadar menjawab pertanyaan. Terdapat kesenjangan besar antara agen saat ini dan manusia tanpa bantuan, dan infrastruktur yang diparalelkan di Azure membuat evaluasi agen sistem operasi berskala besar dan reproducible menjadi cepat.
Contoh penyelesaian
Tugas
Item representatif (domain Windows Settings): «Ubah mode warna aplikasi Windows menjadi Dark.» Agen menerima tangkapan layar dan pohon aksesibilitas dari mesin virtual Windows 11 yang baru dan harus mengeluarkan tindakan antarmuka grafis (mouse dan keyboard) untuk menyelesaikannya; hanya tujuan yang diberikan, tanpa teks target.
Solusi
Langkah: 1) Buka Settings (Win+I, atau Start lalu Settings). 2) Masuk ke Personalization lalu Colors. 3) Di «Choose your mode», pilih Dark. Keadaan akhir: tema aplikasi/sistem adalah Dark (nilai registry HKCU\...\Themes\Personalize\AppsUseLightTheme = 0).
Penjelasan
Benar karena tujuannya adalah perubahan keadaan dan urutan ini menetapkan tepat nilai yang dibaca validator. Setelah episode, skrip reward menanyakan registry mesin virtual dan mengembalikan success=1 hanya jika AppsUseLightTheme sama dengan nilai gelap (0), terlepas dari cara agen mencapainya.
| Tanggal | Model | Skor | Sumber |
|---|---|---|---|
| 2025-09-02 | UI-TARS-2 | 50.6% | UI-TARS-2 memajukan agen GUI dengan pembelajaran penguatan multi-giliran |