El MMLab de la Universidad de Hong Kong presenta UniClawBench, el primer benchmark impulsado por capacidades diseñado para evaluar agentes proactivos en entornos dinámicos del mundo real. Aborda las limitaciones de los benchmarks existentes mediante el uso de contenedores Docker en vivo y una estrategia de evaluación de bucle cerrado con agentes supervisores ocultos.
- Se basa en cinco capacidades fundamentales: Uso de habilidades, Exploración, Razonamiento de contexto largo, Comprensión multimodal y Coordinación entre plataformas.
- Incluye 400 tareas reales bilingües evaluadas mediante puntos de control de finalización paso a paso y de gran detalle.
- Utiliza una estrategia de bucle cerrado con agentes ejecutores, supervisores ocultos y usuarios para simular retroalimentación multironda sin filtrar los criterios de calificación.
- Evalúa modelos state-of-the-art bajo múltiples frameworks para disentir las capacidades del modelo base de las decisiones de diseño del framework.
El benchmark tiene como objetivo ayudar a los investigadores a identificar las causas raíz de los fallos de los agentes y comprender cómo los modelos base y los frameworks moldean conjuntamente el rendimiento.