Лаборатория MMLab Гонконгского университета представляет UniClawBench, первый ориентированный на способности бенчмарк, предназначенный для оценки проактивных агентов в динамичных реальных условиях. Он устраняет ограничения существующих бенчмарков за счёт использования живых Docker-контейнеров и стратегии замкнутого цикла оценки с скрытыми агентами-супервизорами.

  • Построен вокруг пяти фундаментальных способностей: Использование навыков, Исследование, Длинноконтекстное рассуждение, Мультимодальное понимание и Межплатформенная координация.
  • Включает 400 двуязычных реальных задач, оцениваемых с помощью детализированных пошаговых контрольных точек завершения.
  • Использует стратегию замкнутого цикла с агентами-исполнителями, скрытыми супервизорами и пользователями для симуляции многошаговой обратной связи без утечки критериев оценки.
  • Оценивает модели уровня state-of-the-art в нескольких фреймворках, чтобы разделить способности базовых моделей и выбор дизайна фреймворка.

Бенчмарк призван помочь исследователям выявлять корневые причины сбоев агентов и понимать, как базовые модели и фреймворки совместно формируют производительность.