Benchmark · agentic

MLE-bench

0 résultats 0 modèles

MLE-bench mesure dans quelle mesure des agents d'IA autonomes peuvent mener une ingénierie de l'apprentissage automatique de bout en bout sur 75 véritables compétitions Kaggle ; la métrique principale est la fraction de compétitions où la soumission de l'agent décroche une médaille Kaggle (bronze ou mieux).

Exemple: Une tâche unique est une compétition Kaggle remise à l'agent sous forme d'une description du problème, d'un jeu de données d'entraînement et d'un format de soumission requis ; par exemple, une compétition de classification d'images où l'agent doit entraîner un modèle sur des images étiquetées et produire des prédictions pour un jeu de test réservé.
Notation: Chaque compétition est notée avec sa propre métrique Kaggle d'origine (par exemple AUC, accuracy ou RMSE) sur un jeu de test privé réservé ; ce score brut est placé sur un classement reconstruit localement puis converti en médaille (or/argent/bronze/aucune) à l'aide des seuils de percentile de Kaggle. Le chiffre principal rapporté est le pourcentage de compétitions décrochant une médaille quelconque, généralement moyenné sur plusieurs exécutions.
Vérification: Une soumission ne compte que s'il s'agit d'un fichier de prédictions au format valide produit dans le budget de calcul et de temps de l'exécution ; elle est ensuite notée localement par rapport aux étiquettes privées et comparée aux seuils de médaille dérivés du nombre réel de participants à la compétition. Les exécutions sont vérifiées pour détecter des violations de règles, comme la lecture des étiquettes de réponse.
Pourquoi c'est important: Les compétitions Kaggle sont des problèmes d'ingénierie ML ouverts et de plusieurs heures — nettoyage des données, travail sur les caractéristiques, sélection de modèle, entraînement et débogage — de sorte que le succès exige un effort autonome soutenu plutôt qu'une seule réponse, ce qui fait de MLE-bench un test réaliste de la capacité des agents à faire le travail d'un ingénieur ML.

Exemple résolu

Tâche

Compétition — classification binaire d'images. On vous donne un jeu d'entraînement de petites (32×32) photographies aériennes, chacune étiquetée 1 (contient un cactus colonnaire) ou 0 (non), plus un jeu de test non étiqueté. Produisez submission.csv avec les colonnes id et has_cactus donnant, pour chaque image de test, la probabilité prédite de contenir un cactus. Métrique d'évaluation : aire sous la courbe ROC (AUC).

Solution

Étapes clés : (1) charger les images étiquetées et les séparer en train/validation ; (2) construire un pipeline de données avec augmentation (retournements, rotations, normalisation) ; (3) affiner un CNN pré-entraîné (par exemple ResNet) avec une tête binary-cross-entropy, en utilisant un early stopping sur l'AUC de validation ; (4) prédire les probabilités de cactus sur le jeu de test et écrire des lignes id,has_cactus dans submission.csv. Livrable final : un submission.csv valide dont l'AUC sur le classement privé dépasse le seuil de percentile de la médaille de bronze.

Explication

Il n'existe pas de 'bonne réponse' unique — tout pipeline qui généralise assez bien pour porter l'AUC de test au-dessus du seuil de médaille de la compétition réussit ; un CNN affiné avec augmentation est une approche standard et solide pour la classification binaire de petites images et atteint de façon fiable un AUC élevé. Notation : la soumission est notée par AUC face aux étiquettes privées réservées et associée à une médaille via les seuils de percentile de Kaggle.

Aucun score vérifié pour ce benchmark à ce jour.