Бенчмарк · agentic

RE-Bench

0 результатов 0 моделей

RE-Bench (Research Engineering Benchmark от METR) измеряет, насколько хорошо AI-агенты справляются с открытыми задачами AI R&D / ML-инженерии по сравнению с экспертами-людьми. Каждая попытка получает непрерывную оценку для конкретной задачи, нормированную так, что 0 соответствует предоставленному стартовому решению, а 1 — сильному эталонному решению человека.

Подробнее

Пример: Написание оптимизированного GPU kernel: дана эталонная реализация конкретного вычисления (например, prefix-sum), нужно создать функционально эквивалентное собственное kernel, работающее как можно быстрее. Другие среды включают восстановление модели с переставленными весами embedding или ускорение скрипта fine-tuning.
Метрика: Каждая из 7 сред поставляется с автоматической функцией оценивания, возвращающей непрерывный балл (например, время выполнения, loss или точность). Сырые баллы нормируются в пределах каждой среды так, что 0 = стартовое решение, а 1 = сильное эталонное решение (баллы могут превышать 1). Агенты могут запускать оценщик во время работы; засчитывается наивысший балл, достигнутый в рамках фиксированного бюджета времени/вычислений, а совокупная производительность сравнивается с результатами экспертов-людей при одинаковых суммарных бюджетах времени.
Приёмка: Решение засчитывается только если оно запускается в песочнице задачи и оценивается детерминированной функцией оценивания; фиксируется лучший корректный балл в рамках бюджета. Человеческие ориентиры получены от опытных ML-исследователей и инженеров, решавших те же среды (в опубликованном наборе — 71 восьмичасовая попытка от 61 эксперта), что позволяет проводить сопоставимое сравнение; результаты агрегируются по попыткам и сидам.
Почему важно: Он нацелен на способность, которую политики безопасности передового AI отмечают как наиболее важную, — автоматизацию AI R&D силами AI, — используя реалистичные открытые инженерные задачи с объективными метриками и прямым сравнением с экспертами-людьми. Это делает его косвенным индикатором для прогнозирования и оценки опасных уровней автономной способности к R&D, а не классических ML-навыков, которые измеряют другие бенчмарки.

Разбор примера

Задача

«Optimize LLM Foundry finetuning script»: вам дан рабочий скрипт, дообучающий языковую модель на фиксированном GPU. Сократите его реальное время выполнения (wall-clock) как можно сильнее, не меняя поведения обучения — итоговый loss должен по-прежнему совпадать с эталоном в пределах допуска. Можно менять что угодно, и можно запускать функцию оценивания, чтобы измерять своё время.

Решение

Профилируйте скрипт, чтобы найти узкие места, затем примените оптимизации времени выполнения, не меняющие результат: пониженную/смешанную точность (bf16) там, где это безопасно, слитые или оптимизированные kernels (FlashAttention, слитый optimizer), torch.compile, более быстрый конвейер загрузки данных, а также устранение избыточных вычислений и лишних синхронизаций CUDA. Итоговый ответ: самый быстрый скрипт, вывод которого всё ещё совпадает с эталоном в пределах допуска — единственного решения нет, а балл — это достигнутое сокращение времени выполнения при этом ограничении.

Разбор

Это верно, потому что среда оценивает по измеренному реальному времени выполнения при ограничении на поведение/loss, так что любое изменение, снижающее время выполнения и удерживающее вывод в пределах допуска, повышает нормированный балл (0 — стартовый скрипт, 1 — сильный эталон). Оценивание автоматическое: оценщик заново запускает присланный скрипт и фиксирует его время выполнения.

По этому бенчмарку пока нет проверенных результатов.