Benchmark · agentic
MLE-bench
MLE-bench मापता है कि स्वायत्त AI एजेंट 75 वास्तविक Kaggle प्रतियोगिताओं पर एंड-टू-एंड मशीन लर्निंग इंजीनियरिंग कितनी अच्छी तरह कर सकते हैं; मुख्य मीट्रिक वह अंश है जिसमें एजेंट की सबमिशन Kaggle मेडल (कांस्य या उससे बेहतर) जीतती है।
और पढ़ें
- उदाहरण
- एक कार्य एक Kaggle प्रतियोगिता है जो एजेंट को समस्या के विवरण, प्रशिक्षण डेटासेट और आवश्यक सबमिशन फ़ॉर्मैट के रूप में दी जाती है; उदाहरण के लिए, एक इमेज-क्लासिफ़िकेशन प्रतियोगिता जिसमें एजेंट को लेबल की गई छवियों पर मॉडल प्रशिक्षित करना होता है और एक अलग रखे गए टेस्ट सेट के लिए भविष्यवाणियाँ देनी होती हैं।
- स्कोरिंग
- प्रत्येक प्रतियोगिता को उसकी अपनी मूल Kaggle मीट्रिक (जैसे AUC, accuracy या RMSE) से एक अलग रखे गए निजी टेस्ट सेट पर स्कोर किया जाता है; उस कच्चे स्कोर को स्थानीय रूप से पुनर्निर्मित लीडरबोर्ड पर रखा जाता है और Kaggle की पर्सेंटाइल सीमाओं का उपयोग करके मेडल (स्वर्ण/रजत/कांस्य/कोई नहीं) में बदल दिया जाता है। मुख्य रिपोर्ट की गई संख्या उन प्रतियोगिताओं का प्रतिशत है जो कोई भी मेडल जीतती हैं, आमतौर पर कई रन पर औसत।
- सत्यापन
- कोई सबमिशन तभी गिनी जाती है जब वह रन के कंप्यूट और समय बजट के भीतर बनाई गई एक वैध-फ़ॉर्मैट वाली भविष्यवाणी फ़ाइल हो; फिर इसे निजी लेबल के विरुद्ध स्थानीय रूप से ग्रेड किया जाता है और प्रतियोगिता के वास्तविक प्रतिभागियों की संख्या से निकाली गई मेडल सीमाओं से तुलना की जाती है। रन को नियम-उल्लंघनों के लिए जाँचा जाता है, जैसे उत्तर के लेबल पढ़ना।
- यह क्यों मायने रखता है
- Kaggle प्रतियोगिताएँ खुले-अंत वाली, कई-घंटों की ML इंजीनियरिंग समस्याएँ हैं — डेटा सफ़ाई, फ़ीचर कार्य, मॉडल चयन, प्रशिक्षण और डिबगिंग — इसलिए सफलता के लिए एकल उत्तर के बजाय निरंतर स्वायत्त प्रयास चाहिए, जो MLE-bench को इस बात की वास्तविक परीक्षा बनाता है कि क्या एजेंट एक ML इंजीनियर का काम कर सकते हैं।
हल किया गया उदाहरण
कार्य
प्रतियोगिता — बाइनरी इमेज क्लासिफ़िकेशन। आपको छोटी (32×32) हवाई तस्वीरों का एक प्रशिक्षण सेट दिया जाता है, प्रत्येक को 1 (स्तंभाकार कैक्टस है) या 0 (नहीं) से लेबल किया गया है, साथ ही एक बिना-लेबल वाला टेस्ट सेट। id और has_cactus कॉलम के साथ submission.csv बनाएँ जो प्रत्येक टेस्ट इमेज के लिए कैक्टस होने की भविष्यवाणी की गई संभावना दें। मूल्यांकन मीट्रिक: ROC वक्र के नीचे का क्षेत्रफल (AUC)।
समाधान
मुख्य चरण: (1) लेबल की गई छवियाँ लोड करें और train/validation में विभाजित करें; (2) ऑगमेंटेशन (फ़्लिप, रोटेशन, नॉर्मलाइज़ेशन) के साथ एक डेटा पाइपलाइन बनाएँ; (3) एक pretrained CNN (जैसे ResNet) को binary-cross-entropy हेड के साथ fine-tune करें, validation AUC पर early stopping का उपयोग करते हुए; (4) टेस्ट सेट पर कैक्टस की संभावनाओं की भविष्यवाणी करें और id,has_cactus पंक्तियाँ submission.csv में लिखें। अंतिम डिलिवरेबल: एक वैध submission.csv जिसका निजी-लीडरबोर्ड AUC कांस्य-मेडल की पर्सेंटाइल सीमा को पार करे।
व्याख्या
कोई एकल 'सही उत्तर' नहीं है — कोई भी पाइपलाइन जो इतनी अच्छी तरह सामान्यीकृत करे कि टेस्ट AUC को प्रतियोगिता की मेडल सीमा से ऊपर ले जाए, सफल होती है; ऑगमेंटेशन के साथ fine-tuned CNN छोटे-इमेज बाइनरी क्लासिफ़िकेशन के लिए एक मजबूत, मानक तरीका है और भरोसेमंद रूप से उच्च AUC तक पहुँचता है। ग्रेडिंग: सबमिशन को अलग रखे गए निजी लेबल के विरुद्ध AUC से स्कोर किया जाता है और Kaggle की पर्सेंटाइल सीमाओं के माध्यम से एक मेडल में मैप किया जाता है।
इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।