Le MMLab de l'Université de Hong Kong présente UniClawBench, le premier benchmark piloté par les capacités conçu pour évaluer les agents proactifs dans des environnements dynamiques et réels. Il comble les lacunes des benchmarks existants en utilisant des conteneurs Docker en direct et une stratégie d'évaluation en boucle fermée avec des agents superviseurs cachés.
- Construit autour de cinq capacités fondamentales : Utilisation des compétences, Exploration, Raisonnement à long contexte, Compréhension multimodale et Coordination interplateforme.
- Comprend 400 tâches bilingues du monde réel évaluées via des points de contrôle de complétion étape par étape fins.
- Utilise une stratégie en boucle fermée avec des agents exécuteurs, superviseurs cachés et utilisateurs pour simuler des feedbacks multi-tours sans divulguer les critères de notation.
- Évalue les modèles de pointe sous plusieurs frameworks pour dissocier les capacités des modèles de base des choix de conception des frameworks.
Le benchmark vise à aider les chercheurs à identifier les causes profondes des échecs des agents et à comprendre comment les modèles de base et les frameworks façonnent conjointement la performance.