Benchmark · agentic
MLE-bench
MLE-bench 衡量自主 AI 智能体在 75 场真实 Kaggle 竞赛上完成端到端机器学习工程的能力；核心指标是智能体的提交在多大比例的竞赛中赢得 Kaggle 奖牌（铜牌或以上）。
了解更多
- 示例
- 单个任务就是一场 Kaggle 竞赛，以问题描述、训练数据集和规定的提交格式交给智能体；例如一场图像分类竞赛，智能体必须在带标签的图像上训练模型，并对留出的测试集输出预测。
- 评分方式
- 每场竞赛使用其原始的 Kaggle 指标（例如 AUC、accuracy 或 RMSE）在留出的私有测试集上评分；该原始分数被放入本地重建的排行榜，并按 Kaggle 的百分位阈值转换为奖牌（金/银/铜/无）。主要公布的数字是赢得任意奖牌的竞赛百分比，通常是多次运行的平均值。
- 验证方式
- 只有当提交是在该次运行的算力和时间预算内生成的格式合法的预测文件时才算数；随后在本地用私有标签评分，并与根据竞赛真实参赛人数得出的奖牌门槛比较。运行会被检查是否违规，例如读取答案标签。
- 为何重要
- Kaggle 竞赛是开放式、耗时数小时的 ML 工程问题——数据清洗、特征工程、模型选择、训练与调试——因此成功需要持续的自主工作，而非单个答案，这让 MLE-bench 成为对智能体能否胜任 ML 工程师工作的现实检验。
示例解析
任务
竞赛——二分类图像分类。给定一组小尺寸（32×32）航拍照片的训练集，每张标注为 1（含柱状仙人掌）或 0（不含），以及一个未标注的测试集。生成 submission.csv，包含 id 和 has_cactus 两列，为每张测试图像给出含仙人掌的预测概率。评估指标：ROC 曲线下面积（AUC）。
解答
关键步骤：(1) 加载带标签图像并划分为 train/validation；(2) 构建带数据增强（翻转、旋转、归一化）的数据流水线；(3) 微调预训练 CNN（例如 ResNet），使用 binary-cross-entropy 输出头，并按 validation AUC 早停；(4) 在测试集上预测仙人掌概率，并将 id,has_cactus 行写入 submission.csv。最终交付物：一个合法的 submission.csv，其私有排行榜 AUC 超过铜牌的百分位门槛。
解析
不存在唯一的“正确答案”——任何泛化能力足以把测试 AUC 推高到竞赛奖牌门槛之上的流水线都算成功；带增强的微调 CNN 是小尺寸图像二分类的强力标准方法，能可靠达到较高 AUC。评分：提交按 AUC 对留出的私有标签评分，并通过 Kaggle 的百分位门槛映射为奖牌。
该 benchmark 暂无已验证的得分。