MacAgentBench представляет всесторонний бенчмарк, включающий 676 задач по 25 приложениям, 60% из которых включают взаимодействие как с графическим интерфейсом, так и с командной строкой. Используя детерминированные правилу-ориентированные оценки и оценку с использованием мелких контрольных точек, было установлено, что Claude Opus 4.6 на OpenClaw достигает 73,7% Pass@1, в основном благодаря своей библиотеке навыков, а не архитектуре платформы.
arxiv
arXiv cs.CL
·
47 д назад
·
ист: 49 д назад
·
research
MacAgentBench запускает бенчмарк AI-агента для macOS
Переведено с English → Русский
Похожие статьи
arxiv
arXiv cs.CL
·
47 д назад
·
2 просмотра
OpenBioRQ: Бенчмарк для верности агентных исследований в биомедицине
OpenBioRQ вводит бенчмарк из 12 553 нерешённых вопросов в области биомедицинских исследований в 12 областях, разработанный для проверки верности и отказа агентных моделей. Он оценивает модели в условиях использования инструментов без ключей ответов, используя реальные доказательства последующих шагов, а не параметрические знания, и показывает значительное падение агентной способности на самые сложные вопросы, где инструменты больше не используются, несмотря на их критическую важность.
arxiv
arXiv cs.AI
·
51 д назад
·
1 просмотр
Управление задачами снижает задержку очереди на 14-75% на масштабе предприятия
Управление задачами вводит инференс приоритета, объединение связанных событий и прерывание, чтобы обеспечить непрерывную работу в корпоративной ИИ. Оно снижает задержку высокоприоритетных очередей на 14-77% и улучшает точность связанных событий более чем на 20 процентных пунктов на масштабе предприятия, решая шум при открытии агентов как основной барьер.
arxiv
arXiv cs.LG
·
52 д назад
·
1 просмотр
TxBench-PP: производительность ИИ-агента в преследовании фармакологии
TxBench-PP — это проверяемый бенчмарк для преследования фармакологии маломолекул, проверяющий способность ИИ-агентов делать точные выводы на основе реальных данных о пробах. В 16 конфигурациях моделей-инструментов ни одна система не демонстрировала надежную способность принимать правильные решения в области преследования фармакологии, лучшая производительность составила 59,3% (Claude Opus 4.8 / Pi) и 55,3% (GPT-5.5 / Pi) по попыткам достижения конечных результатов.
arxiv
arXiv cs.AI
·
52 д назад
·
1 просмотр
TxBench-PP: оценка AI-агента в проклинической фармакологии
TxBench-PP — это проверяемая оценка для проклинической фармакологии маломолекулярных соединений, проверяющая способность AI-агентов делать точные выводы на основе реальных данных о пробах. При 16 конфигурациях моделей ни одна система не проходила все оценки, лучшая настройка (Claude Opus 4.8 / Pi) достигла 59,3% успеха при 300 попытках на конечных точках.
arxiv
arXiv cs.CL
·
53 д назад
Падение и восстановление точности маршрутизации в системах агентов предприятий
При увеличении каталога инструментов агентов предприятий от 10 до 110 агентов, точность маршрутизации снижается на 16--23 процентных пункта при запросах с недостаточным описанием. Анализ с использованием оракула выявляет разрывы в извлечении и путанице, при использовании базы векторных представлений для сокращения списка результатов восстанавливается +10--11pp F1. Изучение 1435 изъятий с участием человека подтверждает реальное восстановление +10--17pp, несмотря на более низкую абсолютную производительность.