ARC Prize Foundation ने ARC-AGI-2 लॉन्च किया है, जो एक नया बेंचमार्क है जिसे मानवों के लिए आसान लेकिन वर्तमान AI प्रणालियों के लिए कठिन कार्य प्रस्तुत करके तरल बुद्धिमत्ता को मापने के लिए डिज़ाइन किया गया है। बेंचमार्क के साथ, संगठन ने कुशल सामान्य बुद्धिमत्ता पर ओपन-सोर्स प्रगति को बढ़ावा देने के लिए ARC Prize 2025 प्रतियोगिता की घोषणा की।
ARC-AGI-2 ने अपने पूर्ववर्ती की तुलना में कठिनाई का स्तर काफी बढ़ा दिया है, जहाँ शुद्ध LLMs ने 0% स्कोर किया और सार्वजनिक तर्क प्रणालियों ने केवल एक अंकीय प्रतिशत प्राप्त किए। बेंचमार्क में प्रत्येक eval सेट के लिए 120 कार्य शामिल हैं (100 से बढ़कर), जिनमें प्रतीकात्मक व्याख्या, संयोजी तर्क और संदर्भित नियमों के अनुप्रयोग की आवश्यकता होती है। मानव प्रतिभागी ने दो प्रयासों या उससे कम में हर कार्य को हल किया, जो मानव अनुकूलनशीलता और वर्तमान AI क्षमताओं के बीच अंतर को उजागर करता है।
यह पहल AGI शोध के लिए एक उत्तर दिशा के रूप में कार्य करने का लक्ष्य रखती है, जिसमें स्केलिंग अप से नहीं उभरने वाली क्षमता अंतरों पर ध्यान केंद्रित करके शोधकर्ताओं को सामान्य बुद्धिमत्ता के लिए नए विचार विकसित करने के लिए प्रेरित किया जाता है।