MMLab Universitas Hong Kong memperkenalkan UniClawBench, benchmark berbasis kemampuan pertama yang dirancang untuk mengevaluasi agen proaktif dalam pengaturan dunia nyata yang dinamis. Ini mengatasi keterbatasan benchmark yang ada dengan menggunakan kontainer Docker langsung dan strategi evaluasi loop tertutup dengan agen supervisor tersembunyi.
- Dibangun di sekitar lima kemampuan dasar: Penggunaan Keterampilan, Eksplorasi, Penalaran Konteks Panjang, Pemahaman Multimodal, dan Koordinasi Lintas Platform.
- Termasuk 400 tugas dunia nyata dwibahasa yang dievaluasi melalui checkpoint penyelesaian langkah demi langkah yang halus.
- Menggunakan strategi loop tertutup dengan agen eksekutor, supervisor tersembunyi, dan pengguna untuk mensimulasikan umpan balik multi-giliran tanpa membocorkan kriteria penilaian.
- Mengevaluasi model state-of-the-art di bawah beberapa framework untuk memisahkan kemampuan model dasar dari pilihan desain framework.
Benchmark ini bertujuan membantu peneliti mengidentifikasi akar penyebab kegagalan agen dan memahami bagaimana model dasar dan framework bersama-sama membentuk kinerja.