Benchmark · reasoning
ARC-AGI 1
ARC-AGI 1 अमूर्त तर्क और सामान्यीकरण को मापता है: हर टास्क में कुछ input→output ग्रिड उदाहरण दिए जाते हैं, और हल करने वाले को छिपे हुए रूपांतरण नियम का अनुमान लगाकर किसी नए इनपुट के लिए सही आउटपुट ग्रिड बनाना होता है। मीट्रिक वह प्रतिशत है जिसमें आउटपुट ग्रिड बिल्कुल मेल खाने के साथ टास्क हल हुए।
और पढ़ें
- उदाहरण
- एक टास्क में दो या तीन छोटी रंगीन ग्रिड हो सकती हैं जहाँ हर इनपुट एक ही नियम से अपने आउटपुट में बदलता है — जैसे हर बंद क्षेत्र को भरना या किसी आकृति को दर्पण की तरह पलटना — और उसी अनुमानित नियम को एक नई, पहले न देखी गई ग्रिड पर लागू करना होता है।
- स्कोरिंग
- कोई टास्क तभी हल माना जाता है जब बनाई गई ग्रिड संदर्भ उत्तर से हर सेल तक बिल्कुल मेल खाए; अंतिम स्कोर पूरे मूल्यांकन सेट में हल हुए टास्क का अंश (प्रतिशत) होता है।
- सत्यापन
- जाँच स्वचालित और सटीक होती है: प्रस्तुत आउटपुट ग्रिड की तुलना सही ग्रिड से सेल-दर-सेल की जाती है, न कोई आंशिक अंक और न ही मानव मतदान।
- यह क्यों मायने रखता है
- ये पहेलियाँ इस तरह बनाई गई हैं कि इंसानों के लिए आसान हों पर याद किए गए पैटर्न पर निर्भर मॉडलों के लिए कठिन, इसलिए यह बेंचमार्क याद किए ज्ञान के बजाय असली अमूर्तता और few-shot सामान्यीकरण को परखता है — जिससे यह अधिक सामान्य AI की दिशा में प्रगति का एक बारीकी से देखा जाने वाला माप बन जाता है।
हल किया गया उदाहरण
कार्य
ARC-AGI 1 पहले कुछ इनपुट→आउटपुट ग्रिड उदाहरण दिखाता है, फिर एक छिपा हुआ टेस्ट इनपुट देता है; आपको रूपांतरण का अनुमान लगाकर सटीक आउटपुट ग्रिड बनाना है (कोशिकाएँ रंग 0-9, 0=काला)। उदाहरण एक स्व-फ्रैक्टल नियम दिखाते हैं: हर 3×3 ग्रिड 9×9 में फैलता है — जहाँ कोशिका रंगीन है वहाँ पूरे ग्रिड की एक प्रति छापी जाती है और जहाँ 0 है वहाँ खाली 3×3 ब्लॉक। टेस्ट इनपुट (3×3):
0 8 0 / 8 8 8 / 0 8 0 (रंग 8 का एक प्लस)।समाधान
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
0 8 0 0 8 0 0 8 0
8 8 8 8 8 8 8 8 8
0 8 0 0 8 0 0 8 0
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
व्याख्या
रंग 8 वाली कोशिकाएँ प्लस की चारों भुजाओं के मध्य-बिंदुओं और केंद्र पर हैं; प्लस को ठीक इन पाँच 3×3 ब्लॉकों में छापना (और चारों कोने खाली रखना) 9×9 फ्रैक्टल बनाता है। ARC-AGI केवल कोशिका-दर-कोशिका पूर्ण मिलान पर अंक देता है — एक भी गलत कोशिका पर कार्य विफल, अधिकतम 2 प्रयास मान्य।