O MMLab da Universidade de Hong Kong apresenta o UniClawBench, o primeiro benchmark orientado por capacidades projetado para avaliar agentes proativos em configurações dinâmicas do mundo real. Ele aborda as limitações dos benchmarks existentes usando contêineres Docker ao vivo e uma estratégia de avaliação de loop fechado com agentes supervisores ocultos.
- Construído em torno de cinco capacidades fundamentais: Uso de Habilidades, Exploração, Raciocínio de Contexto Longo, Compreensão Multimodal e Coordenação entre Plataformas.
- Inclui 400 tarefas reais bilíngues avaliadas por meio de checkpoints de conclusão passo a passo e de granulação fina.
- Usa uma estratégia de loop fechado com agentes executor, supervisor oculto e usuário para simular feedback multironda sem vazamento dos critérios de avaliação.
- Avalia modelos state-of-the-art sob múltiplos frameworks para disentir as capacidades do modelo base das escolhas de design do framework.
O benchmark visa ajudar pesquisadores a identificar as causas raízes das falhas dos agentes e entender como os modelos base e os frameworks moldam conjuntamente o desempenho.