मार्च 2026 में प्रकाशित एक जीवित सर्वेक्षण Abstraction and Reasoning Corpus (ARC-AGI) बेंचमार्क के तीन संस्करणों पर 82 दृष्टिकोणों का विश्लेषण करता है। अध्ययन से पता चलता है कि Opus 4.6 जैसे शीर्ष मॉडल ARC-AGI-1 पर 93.0% सटीकता हासिल करते हैं, लेकिन प्रदर्शन ARC-AGI-2 पर 68.8% और ARC-AGI-3 पर 13% तक गिर जाता है।

  • संस्करण 1 से 2 तक प्रोग्राम संश्लेषण, न्यूरो-सिंबोलिक और तंत्रिका विधाओं में 2-3x की प्रदर्शन ह्रास स्थिर है।
  • एक वर्ष में परीक्षण लागत 390x कम हो गई, o3 के लिए $4,500/कार्य से घटकर GPT-5.2 के लिए $12/कार्य हो गई, हालांकि इसका अर्थ परीक्षण-समय समानांतरता में कमी है।
  • 660M-8B पैरामीटर वाले Kaggle-सीमित प्रविष्टियाँ प्रतिस्पर्धी परिणाम प्राप्त करती हैं, जो इस सिद्धांत का समर्थन करती हैं कि बुद्धिमत्ता कौशल-अर्जन दक्षता है।
  • ARC Prize 2025 विजेताओं को केवल 24% हासिल करने के लिए ARC-AGI-2 पर लाखों संश्लेषित उदाहरणों की आवश्यकता हुई।

लेखकों का निष्कर्ष है कि संयोजक तर्कशक्ति और इंटरैक्टिव लर्निंग अभी भी हल नहीं हुए चुनौतियाँ हैं, वर्तमान प्रणालियाँ ज्ञान-आधारित रहती हैं और वास्तविक तरल बुद्धिमत्ता का प्रदर्शन नहीं करतीं।