벤치마크 · agentic

MLE-bench

0 결과 0 모델

MLE-bench는 자율 AI 에이전트가 75개의 실제 Kaggle 대회에서 엔드투엔드 머신러닝 엔지니어링을 얼마나 잘 수행하는지를 측정한다. 핵심 지표는 에이전트의 제출물이 Kaggle 메달(동메달 이상)을 획득한 대회의 비율이다.

예시: 하나의 과제는 문제 설명, 학습 데이터셋, 요구되는 제출 형식으로 에이전트에게 주어지는 하나의 Kaggle 대회이다. 예를 들어 이미지 분류 대회에서 에이전트는 라벨이 있는 이미지로 모델을 학습하고 보류된 테스트셋에 대한 예측을 출력해야 한다.
채점 방식: 각 대회는 보류된 비공개 테스트셋에서 해당 대회 고유의 원래 Kaggle 지표(예: AUC, accuracy, RMSE)로 채점된다. 그 원점수는 로컬에서 재구성한 리더보드에 배치되고 Kaggle의 백분위 임계값을 사용해 메달(금/은/동/없음)로 변환된다. 주로 보고되는 수치는 어떤 메달이든 획득한 대회의 비율이며, 보통 여러 번의 실행에 대해 평균을 낸다.
검증 방식: 제출물은 해당 실행의 연산 및 시간 예산 내에서 생성된, 형식이 올바른 예측 파일일 때만 인정된다. 그런 다음 비공개 라벨에 대해 로컬에서 채점되고 대회의 실제 참가자 수에서 도출된 메달 컷오프와 비교된다. 실행은 정답 라벨을 읽는 것과 같은 규칙 위반이 있는지 확인된다.
왜 중요한가: Kaggle 대회는 데이터 정제, 특징 작업, 모델 선택, 학습, 디버깅에 이르는 개방형의 수 시간짜리 ML 엔지니어링 문제이다. 따라서 성공하려면 단일 정답이 아니라 지속적인 자율 작업이 필요하며, 이는 MLE-bench를 에이전트가 ML 엔지니어의 일을 해낼 수 있는지에 대한 현실적인 테스트로 만든다.

예제 풀이

문제

대회 — 이진 이미지 분류. 각각 1(기둥선인장 포함) 또는 0(미포함)으로 라벨링된 작은(32×32) 항공 사진 학습셋과 라벨이 없는 테스트셋이 주어진다. id와 has_cactus 열을 가진 submission.csv를 생성하여 각 테스트 이미지가 선인장을 포함할 예측 확률을 제시하라. 평가 지표: ROC 곡선 아래 면적(AUC).

해답

주요 단계: (1) 라벨이 있는 이미지를 불러와 train/validation으로 분할한다; (2) 증강(뒤집기, 회전, 정규화)이 포함된 데이터 파이프라인을 구성한다; (3) 사전학습된 CNN(예: ResNet)을 binary-cross-entropy 헤드로, validation AUC 기준 early stopping을 사용해 fine-tune한다; (4) 테스트셋에서 선인장 확률을 예측하고 id,has_cactus 행을 submission.csv에 기록한다. 최종 산출물: 비공개 리더보드 AUC가 동메달 백분위 컷오프를 넘는 유효한 submission.csv.

풀이

단 하나의 '정답'은 없다 — 테스트 AUC를 대회 메달 임계값 위로 끌어올릴 만큼 충분히 일반화하는 파이프라인이면 성공한다. 증강을 적용한 fine-tuned CNN은 작은 이미지 이진 분류에 대한 강력하고 표준적인 접근법이며 높은 AUC에 안정적으로 도달한다. 채점: 제출물은 보류된 비공개 라벨에 대해 AUC로 채점되고 Kaggle의 백분위 컷오프를 통해 메달로 매핑된다.

이 벤치마크에 대해 아직 검증된 점수가 없습니다.