Бенчмарк · agentic
BrowseComp
BrowseComp — это бенчмарк OpenAI для ИИ-агентов, работающих с веб-браузером; он проверяет, способны ли они разыскивать труднонаходимые факты, разбросанные по интернету. Результат выражается в проценте вопросов, на которые дан правильный ответ.
Подробнее
- Пример
- Типичное задание — вопрос, короткий фактический ответ на который (имя, дата или число) спрятан глубоко в сети, и чтобы его найти, требуется настойчивый многошаговый поиск по множеству страниц.
- Метрика
- Метрика — точность (accuracy): доля вопросов, где ответ агента совпадает с единственным известным правильным ответом.
- Приёмка
- Ответ засчитывается, если он совпадает с заранее заданным эталонным ответом (проверка по точному совпадению); вопросы составлены так, что ответ трудно найти, но легко проверить, когда он дан.
- Почему важно
- Бенчмарк проверяет навык, которого нет у обычных чат-ботов, — глубокий, настойчивый веб-поиск в много шагов, поэтому он остаётся сложным испытанием для агентного браузинга даже для сильных моделей.
Разбор примера
Задача
Задание BrowseComp: «Назовите полнометражный фильм, вышедший между 2010 и 2015 годами, который (1) получил премию Academy Award за лучший фильм, (2) драматизирует одну тайную спасательную операцию, (3) снят тем же человеком, который играет главную роль, и (4) достигает кульминации в аэропорту Тегерана. Укажите только название фильма.»
Решение
Ограничения пересекаются на одном фильме — победителе за лучший фильм 2010–2015 годов, который является драмой о тайном спасении с режиссёром в главной роли и кульминацией в аэропорту Тегерана. Итоговый ответ: Argo (2012), режиссёр и исполнитель главной роли — Ben Affleck.
Разбор
Каждая подсказка сужает круг кандидатов — победители за лучший фильм 2010–2015, затем драмы о спасении с режиссёром в главной роли, затем единственная с кульминацией в аэропорту Тегерана — оставляя только Argo, который Ben Affleck и снял, и сыграл в нём. BrowseComp сверяет короткий текстовый ответ с эталоном по точному или модельному совпадению, поэтому «Argo» засчитывается как правильный.