Para peneliti memperkenalkan DevicesWorld, sebuah benchmark eksekusi skala besar yang dirancang untuk mengevaluasi agen berbasis LLM yang beroperasi di lingkungan heterogen termasuk perangkat seluler, desktop, dan IoT.
- Benchmark ini berisi 6.140 tugas yang mengintegrasikan tiga kelas lingkungan perangkat ke dalam satu kerangka kerja terpadu untuk interaksi lintas perangkat.
- Setiap tugas mendefinisikan tujuan bahasa alami, perangkat yang berpartisipasi, keadaan awal, aksi yang dapat dieksekusi, verifier berbasis aturan, dan prosedur pembersihan.
- Evaluasi terhadap lima sistem agen LLM terdepan menunjukkan tingkat keberhasilan yang rendah, dengan kinerja terbaik hanya mencapai 12,5%.
- Analisis menunjukkan bahwa agen sering kesulitan dalam memperoleh informasi, memanipulasi antarmuka, dan membingungkan perangkat sumber versus perangkat output.
DevicesWorld menyediakan masalah evaluasi yang dapat direproduksi dan berguna secara diagnostik untuk memajukan penelitian tentang agen lintas perangkat yang andal.