Бенчмарк · agentic

MLE-bench

0 результатов 0 моделей

MLE-bench измеряет, насколько хорошо автономные ИИ-агенты справляются с полным циклом инженерии машинного обучения на 75 реальных соревнованиях Kaggle; главная метрика — доля соревнований, в которых решение агента получает медаль Kaggle (бронзу или выше).

Подробнее

Пример: Одна задача — это одно соревнование Kaggle, которое агент получает в виде описания проблемы, обучающего набора данных и требуемого формата отправки; например, соревнование по классификации изображений, где агент должен обучить модель на размеченных изображениях и выдать предсказания для отложенного тестового набора.
Метрика: Каждое соревнование оценивается его собственной исходной метрикой Kaggle (например, AUC, accuracy или RMSE) на отложенном приватном тестовом наборе; этот сырой результат помещается на локально воссозданную таблицу лидеров и переводится в медаль (золото/серебро/бронза/нет) по процентильным порогам Kaggle. Основной публикуемый показатель — процент соревнований, получивших хоть какую-то медаль, обычно усреднённый по нескольким запускам.
Приёмка: Отправка засчитывается только если это корректно отформатированный файл предсказаний, созданный в рамках бюджета вычислений и времени запуска; затем она оценивается локально по приватным меткам и сравнивается с порогами медалей, выведенными из реального числа участников соревнования. Запуски проверяются на нарушения правил, например на чтение меток-ответов.
Почему важно: Соревнования Kaggle — это открытые, многочасовые задачи инженерии ML: очистка данных, работа с признаками, выбор модели, обучение и отладка, поэтому успех требует длительной автономной работы, а не одного ответа, что делает MLE-bench реалистичной проверкой того, способны ли агенты выполнять работу ML-инженера.

Разбор примера

Задача

Соревнование — бинарная классификация изображений. Дан обучающий набор небольших (32×32) аэрофотоснимков, каждый помечен 1 (есть колонновидный кактус) или 0 (нет), а также неразмеченный тестовый набор. Сформируйте submission.csv со столбцами id и has_cactus, задающими для каждого тестового изображения предсказанную вероятность наличия кактуса. Метрика оценки: площадь под ROC-кривой (AUC).

Решение

Ключевые шаги: (1) загрузить размеченные изображения и разделить на train/validation; (2) построить конвейер данных с аугментацией (отражения, повороты, нормализация); (3) дообучить предобученную CNN (например, ResNet) с binary-cross-entropy-головой, используя раннюю остановку по validation AUC; (4) предсказать вероятности кактуса на тестовом наборе и записать строки id,has_cactus в submission.csv. Итоговый результат: корректный submission.csv, чей AUC на приватной таблице лидеров превышает процентильный порог бронзовой медали.

Разбор

Единственного «правильного ответа» нет — подходит любой конвейер, который обобщает достаточно хорошо, чтобы поднять тестовый AUC выше медального порога соревнования; дообученная CNN с аугментацией — сильный стандартный подход для бинарной классификации небольших изображений и надёжно достигает высокого AUC. Оценка: отправка оценивается по AUC относительно отложенных приватных меток и переводится в медаль по процентильным порогам Kaggle.

По этому бенчмарку пока нет проверенных результатов.