Бенчмарк · reasoning
Humanity's Last Exam
Humanity's Last Exam (HLE) — это бенчмарк из экспертных вопросов переднего края по множеству областей знаний (математика, естественные науки, гуманитарные науки и другие), намеренно созданный так, чтобы быть предельно сложным для ИИ. Результат выражается в процентах правильных ответов (accuracy).
Подробнее
- Пример
- Каждое задание — это закрытый экспертный вопрос с единственным правильным ответом: например, продвинутая задача по математике или научный вопрос уровня аспирантуры (иногда с прилагаемым изображением), заданный как выбор из вариантов или как краткий точный ответ.
- Метрика
- Метрика — accuracy: доля вопросов, на которые модель ответила правильно, в процентах. В некоторых версиях наряду с точностью приводится мера калибровки (уверенности).
- Приёмка
- У каждого вопроса есть известный правильный ответ, и ответ модели оценивается автоматически по этому эталону (верный вариант для вопросов с выбором, совпадающий краткий ответ) — объективная автоматическая проверка, а не голосование людей.
- Почему важно
- Стандартные бенчмарки насытились (лучшие модели почти достигли потолка), поэтому HLE стремится быть сложным, различающим тестом на переднем крае экспертных знаний человека — значимым индикатором того, насколько ИИ далёк от рассуждений экспертного уровня.
Разбор примера
Задача
Колибри (отряд Apodiformes) уникально обладают билатерально парной овальной сесамовидной косточкой (sesamoid), встроенной в каудолатеральную часть расширенного крестообразного апоневроза (aponeurosis) прикрепления мышцы m. depressor caudae. Сколько парных сухожилий поддерживает эта сесамовидная косточка? Ответьте одним целым числом.
Решение
4
Разбор
Овальная сесамовидная косточка формируется внутри крестообразного апоневроза мышцы-депрессора хвоста и поддерживает четыре парных сухожилия этого прикрепления — специализированное окостенение, уникальное для анатомии хвоста колибри. HLE оценивает ответ точным совпадением введённого целого числа с эталонным (4) и отдельно запрашивает уверенность для калибровки.