ベンチマーク · agentic

MLE-bench

0 結果 0 モデル

MLE-bench は、自律型 AI エージェントが 75 の実際の Kaggle コンペティションでエンドツーエンドの機械学習エンジニアリングをどれだけうまくこなせるかを測定する。主要指標は、エージェントの提出物が Kaggle メダル（銅以上）を獲得したコンペティションの割合である。

詳しく見る

例: 1 つのタスクは 1 つの Kaggle コンペティションで、問題の説明、訓練データセット、および要求される提出フォーマットとしてエージェントに渡される。例えば画像分類コンペティションでは、エージェントはラベル付き画像でモデルを訓練し、ホールドアウトされたテストセットに対する予測を出力しなければならない。
採点方法: 各コンペティションは、ホールドアウトされた非公開テストセット上で、その独自の元の Kaggle 指標（例: AUC、accuracy、RMSE）でスコア付けされる。その生スコアはローカルに再構築されたリーダーボードに置かれ、Kaggle のパーセンタイル閾値を用いてメダル（金/銀/銅/なし）に変換される。主に報告される数値は、何らかのメダルを獲得したコンペティションの割合で、通常は複数回の実行にわたる平均である。
検証方法: 提出物は、その実行の計算資源と時間の予算内で生成された正しいフォーマットの予測ファイルである場合にのみカウントされる。その後、非公開ラベルに対してローカルで採点され、コンペティションの実際の参加者数から導かれたメダル閾値と比較される。実行は、答えのラベルを読むなどのルール違反がないか確認される。
重要な理由: Kaggle コンペティションは、データクリーニング、特徴量の設計、モデル選択、訓練、デバッグといった、オープンエンドで数時間に及ぶ ML エンジニアリングの問題である。したがって成功には単一の答えではなく持続的な自律的作業が必要であり、MLE-bench はエージェントが ML エンジニアの仕事をこなせるかどうかの現実的なテストとなる。

解説付きの例

課題

コンペティション — 二値画像分類。小さな（32×32）航空写真の訓練セットが与えられ、各画像は 1（柱状のサボテンを含む）または 0（含まない）とラベル付けされており、加えてラベルなしのテストセットがある。id と has_cactus の列を持つ submission.csv を作成し、各テスト画像がサボテンを含む予測確率を与えること。評価指標: ROC 曲線下面積（AUC）。

解答

主要な手順: (1) ラベル付き画像を読み込み train/validation に分割する; (2) データ拡張（反転、回転、正規化）を伴うデータパイプラインを構築する; (3) 事前学習済み CNN（例: ResNet）を binary-cross-entropy ヘッドで、validation AUC による early stopping を用いて fine-tune する; (4) テストセットでサボテンの確率を予測し、id,has_cactus の行を submission.csv に書き込む。最終成果物: 非公開リーダーボードの AUC が銅メダルのパーセンタイル閾値を超える有効な submission.csv。

解説

唯一の「正解」は存在しない。テスト AUC をコンペティションのメダル閾値より上に押し上げるほど十分に汎化するパイプラインであれば成功する。データ拡張を伴う fine-tuned CNN は小画像の二値分類に対する強力で標準的な手法であり、高い AUC に確実に到達する。採点: 提出物はホールドアウトされた非公開ラベルに対して AUC でスコア付けされ、Kaggle のパーセンタイル閾値を通じてメダルにマッピングされる。

このベンチマークの検証済みスコアはまだありません。