Benchmark · agentic

MLE-bench

0 resultados 0 modelos

MLE-bench mide qué tan bien los agentes de IA autónomos realizan ingeniería de aprendizaje automático de extremo a extremo en 75 competiciones reales de Kaggle; la métrica principal es la fracción de competiciones en las que la entrega del agente obtiene una medalla de Kaggle (bronce o superior).

Ejemplo: Una sola tarea es una competición de Kaggle entregada al agente como una descripción del problema, un conjunto de datos de entrenamiento y un formato de entrega requerido; por ejemplo, una competición de clasificación de imágenes donde el agente debe entrenar un modelo con imágenes etiquetadas y producir predicciones para un conjunto de prueba reservado.
Puntuación: Cada competición se puntúa con su propia métrica original de Kaggle (por ejemplo, AUC, accuracy o RMSE) sobre un conjunto de prueba privado reservado; esa puntuación bruta se coloca en una tabla de clasificación reconstruida localmente y se convierte en una medalla (oro/plata/bronce/ninguna) usando los umbrales de percentil de Kaggle. La cifra principal reportada es el porcentaje de competiciones que obtienen alguna medalla, normalmente promediado sobre varias ejecuciones.
Verificación: Una entrega solo cuenta si es un archivo de predicciones con formato válido producido dentro del presupuesto de cómputo y tiempo de la ejecución; luego se califica localmente contra las etiquetas privadas y se compara con los cortes de medalla derivados del número real de participantes de la competición. Las ejecuciones se revisan en busca de violaciones de reglas, como leer las etiquetas de respuesta.
Por qué importa: Las competiciones de Kaggle son problemas de ingeniería de ML abiertos y de varias horas —limpieza de datos, trabajo de características, selección de modelos, entrenamiento y depuración—, por lo que el éxito requiere un esfuerzo autónomo sostenido en lugar de una sola respuesta, lo que convierte a MLE-bench en una prueba realista de si los agentes pueden hacer el trabajo de un ingeniero de ML.

Ejemplo resuelto

Tarea

Competición — clasificación binaria de imágenes. Se te da un conjunto de entrenamiento de fotografías aéreas pequeñas (32×32), cada una etiquetada con 1 (contiene un cactus columnar) o 0 (no), más un conjunto de prueba sin etiquetar. Produce submission.csv con las columnas id y has_cactus que den, para cada imagen de prueba, la probabilidad predicha de contener un cactus. Métrica de evaluación: área bajo la curva ROC (AUC).

Solución

Pasos clave: (1) cargar las imágenes etiquetadas y dividir en train/validation; (2) construir una tubería de datos con aumentación (volteos, rotaciones, normalización); (3) ajustar una CNN preentrenada (por ejemplo, ResNet) con una cabeza binary-cross-entropy, usando parada temprana según el AUC de validation; (4) predecir las probabilidades de cactus en el conjunto de prueba y escribir filas id,has_cactus en submission.csv. Entregable final: un submission.csv válido cuyo AUC en la tabla de clasificación privada supere el corte de percentil de la medalla de bronce.

Explicación

No hay una única 'respuesta correcta': funciona cualquier tubería que generalice lo suficiente para llevar el AUC de prueba por encima del umbral de medalla de la competición; una CNN ajustada con aumentación es un enfoque estándar y sólido para la clasificación binaria de imágenes pequeñas y alcanza de forma fiable un AUC alto. Calificación: la entrega se puntúa por AUC contra las etiquetas privadas reservadas y se asigna a una medalla mediante los cortes de percentil de Kaggle.

Aún no hay puntuaciones verificadas para este benchmark.