Benchmark · agentic
MLE-bench
O MLE-bench mede quão bem agentes de IA autônomos conseguem realizar engenharia de aprendizado de máquina de ponta a ponta em 75 competições reais do Kaggle; a métrica principal é a fração de competições em que a submissão do agente conquista uma medalha do Kaggle (bronze ou melhor).
Saiba mais
- Exemplo
- Uma única tarefa é uma competição do Kaggle entregue ao agente como uma descrição do problema, um conjunto de dados de treino e um formato de submissão exigido; por exemplo, uma competição de classificação de imagens em que o agente precisa treinar um modelo com imagens rotuladas e gerar previsões para um conjunto de teste reservado.
- Pontuação
- Cada competição é pontuada com sua própria métrica original do Kaggle (por exemplo, AUC, accuracy ou RMSE) sobre um conjunto de teste privado reservado; essa pontuação bruta é colocada em um placar reconstruído localmente e convertida em medalha (ouro/prata/bronze/nenhuma) usando os limiares de percentil do Kaggle. O número principal reportado é a porcentagem de competições que conquistam alguma medalha, geralmente com média sobre várias execuções.
- Verificação
- Uma submissão só conta se for um arquivo de previsões com formato válido produzido dentro do orçamento de computação e tempo da execução; ela é então avaliada localmente contra os rótulos privados e comparada aos cortes de medalha derivados do número real de participantes da competição. As execuções são verificadas quanto a violações de regras, como ler os rótulos de resposta.
- Por que importa
- As competições do Kaggle são problemas de engenharia de ML abertos e de várias horas — limpeza de dados, engenharia de atributos, seleção de modelos, treinamento e depuração —, então o sucesso exige esforço autônomo sustentado em vez de uma única resposta, tornando o MLE-bench um teste realista de se os agentes conseguem fazer o trabalho de um engenheiro de ML.
Exemplo resolvido
Tarefa
Competição — classificação binária de imagens. Você recebe um conjunto de treino de pequenas (32×32) fotografias aéreas, cada uma rotulada como 1 (contém um cacto colunar) ou 0 (não), além de um conjunto de teste sem rótulos. Produza submission.csv com as colunas id e has_cactus dando, para cada imagem de teste, a probabilidade prevista de conter um cacto. Métrica de avaliação: área sob a curva ROC (AUC).
Solução
Passos principais: (1) carregar as imagens rotuladas e dividir em train/validation; (2) montar um pipeline de dados com aumentação (flips, rotações, normalização); (3) fazer o fine-tuning de uma CNN pré-treinada (por exemplo, ResNet) com uma cabeça binary-cross-entropy, usando early stopping pelo AUC de validation; (4) prever as probabilidades de cacto no conjunto de teste e escrever linhas id,has_cactus em submission.csv. Entregável final: um submission.csv válido cujo AUC no placar privado supere o corte de percentil da medalha de bronze.
Explicação
Não existe uma única 'resposta certa' — funciona qualquer pipeline que generalize bem o suficiente para levar o AUC de teste acima do limiar de medalha da competição; uma CNN com fine-tuning e aumentação é uma abordagem padrão e forte para classificação binária de imagens pequenas e atinge de forma confiável um AUC alto. Avaliação: a submissão é pontuada por AUC contra os rótulos privados reservados e mapeada para uma medalha pelos cortes de percentil do Kaggle.
Ainda não há pontuações verificadas para este benchmark.