Бенчмарк · agentic
GAIA
GAIA (General AI Assistant) проверяет, могут ли ИИ-ассистенты отвечать на реальные многошаговые вопросы, требующие использования tools, просмотра веб-страниц и рассуждений по нескольким источникам. Оценка — это процент правильно отвеченных вопросов.
Подробнее
- Пример
- Типичный пункт — простой на вид вопрос, ответ на который спрятан за несколькими шагами: например, «найти факт в приложенном документе, а затем объединить его с данными с веб-сайта, чтобы получить один короткий ответ», — что требует просмотра страниц и использования tools, а не одного поиска.
- Метрика
- Метрика — accuracy (точность): доля вопросов, чей итоговый ответ совпадает с ожидаемым. У каждого вопроса есть один однозначный эталонный ответ, поэтому ответ либо верный, либо неверный.
- Приёмка
- Ответы проверяются автоматически точным (квази-точным) сравнением строк с эталонным ответом, а результаты на тестовом наборе отправляются в публичный leaderboard, где правильные ответы держатся в секрете.
- Почему важно
- Он измеряет практические способности ассистента — сочетание рассуждений, веб-просмотра и tools в задачах, лёгких для людей, но трудных для ИИ, — что делает его распространённым эталоном для автономных agents.
Разбор примера
Задача
Используя текущую английскую Wikipedia, сколько студийных альбомов выпустила группа Radiohead с 1993 по 2007 год включительно? Дайте один целочисленный ответ.
Решение
Albums in range: Pablo Honey (1993), The Bends (1995), OK Computer (1997), Kid A (2000), Amnesiac (2001), Hail to the Thief (2003), In Rainbows (2007) → 7. Final answer: 7
Разбор
У заданий GAIA есть один однозначный эталонный ответ, получаемый через веб-поиск и несложное агрегирование — здесь это подсчёт записей дискографии в заданном диапазоне дат (сборники и концертные альбомы исключаются). Оценивается методом quasi-exact match: нормализованная строка итогового ответа должна точно совпасть с эталоном «7».