Benchmark · agentic

MLE-bench

0 hasil 0 model

MLE-bench mengukur seberapa baik agen AI otonom dapat melakukan rekayasa machine learning menyeluruh pada 75 kompetisi Kaggle nyata; metrik utamanya adalah fraksi kompetisi di mana submission agen meraih medali Kaggle (perunggu atau lebih baik).

Selengkapnya

Contoh: Satu tugas adalah satu kompetisi Kaggle yang diberikan kepada agen berupa deskripsi masalah, dataset pelatihan, dan format submission yang diwajibkan; misalnya, kompetisi klasifikasi gambar di mana agen harus melatih model pada gambar berlabel dan menghasilkan prediksi untuk test set yang disimpan terpisah.
Penilaian: Setiap kompetisi dinilai dengan metrik asli Kaggle-nya sendiri (misalnya AUC, accuracy, atau RMSE) pada test set privat yang disimpan terpisah; skor mentah itu ditempatkan pada papan peringkat yang direkonstruksi secara lokal dan dikonversi menjadi medali (emas/perak/perunggu/tidak ada) menggunakan ambang persentil Kaggle. Angka utama yang dilaporkan adalah persentase kompetisi yang meraih medali apa pun, biasanya dirata-ratakan atas beberapa kali eksekusi.
Verifikasi: Sebuah submission hanya dihitung jika berupa file prediksi berformat valid yang dihasilkan dalam anggaran komputasi dan waktu eksekusi; lalu dinilai secara lokal terhadap label privat dan dibandingkan dengan ambang medali yang diturunkan dari jumlah peserta nyata kompetisi. Eksekusi diperiksa terhadap pelanggaran aturan, seperti membaca label jawaban.
Mengapa penting: Kompetisi Kaggle adalah masalah rekayasa ML yang terbuka dan berlangsung berjam-jam — pembersihan data, pengerjaan fitur, pemilihan model, pelatihan, dan debugging — sehingga keberhasilan menuntut usaha otonom yang berkelanjutan alih-alih satu jawaban, menjadikan MLE-bench uji yang realistis apakah agen dapat melakukan pekerjaan seorang insinyur ML.

Contoh penyelesaian

Tugas

Kompetisi — klasifikasi gambar biner. Anda diberi training set berupa foto udara kecil (32×32), masing-masing berlabel 1 (berisi kaktus kolumnar) atau 0 (tidak), ditambah test set tanpa label. Hasilkan submission.csv dengan kolom id dan has_cactus yang memberikan, untuk setiap gambar uji, probabilitas prediksi mengandung kaktus. Metrik evaluasi: area di bawah kurva ROC (AUC).

Solusi

Langkah utama: (1) muat gambar berlabel dan bagi menjadi train/validation; (2) bangun pipeline data dengan augmentasi (flip, rotasi, normalisasi); (3) fine-tune CNN pra-terlatih (misalnya ResNet) dengan head binary-cross-entropy, menggunakan early stopping berdasarkan AUC validation; (4) prediksi probabilitas kaktus pada test set dan tulis baris id,has_cactus ke submission.csv. Hasil akhir: submission.csv valid yang AUC papan peringkat privatnya melewati ambang persentil medali perunggu.

Penjelasan

Tidak ada satu 'jawaban benar' — pipeline apa pun yang menggeneralisasi cukup baik untuk mendorong AUC uji di atas ambang medali kompetisi akan berhasil; CNN yang di-fine-tune dengan augmentasi adalah pendekatan standar yang kuat untuk klasifikasi biner gambar kecil dan andal mencapai AUC tinggi. Penilaian: submission dinilai dengan AUC terhadap label privat yang disimpan terpisah dan dipetakan ke medali melalui ambang persentil Kaggle.

Belum ada skor terverifikasi yang dilaporkan untuk benchmark ini.