एक स्वतंत्र शोधकर्ता ने ARC-AGI v2 बेंचमार्क पर 29.4% की नई स्टेट-ऑफ़-द-आर्ट स्कोर हासिल की, पिछले सर्वश्रेष्ठ 25% को पार करते हुए, पायथन कोड जनरेशन को एक विकासवादी टेस्ट-टाइम कंप्यूट आर्किटेक्चर के माध्यम से विकसित प्राकृतिक भाषा निर्देशों से बदलकर।
सिस्टम Grok-4 का उपयोग अमूर्त पैटर्न पहचान कार्यों को हल करने के लिए साधारण अंग्रेजी निर्देश जनरेट करने के लिए करता है, जिन्हें व्यक्तिगत और पूल किए गए पुनरीक्षण चक्रों के माध्यम से परीक्षित और परिष्कृत किया जाता है। इस दृष्टिकोण से ARC-AGI v1 पर $8.42 प्रति कार्य की लागत के साथ 79.6% स्कोर प्राप्त होता है, जो इसे OpenAI के o3 प्रीव्यू से 25 गुना अधिक कुशल बनाता है।
लेखक का तर्क है कि LLMs सामान्यीकरण में संघर्ष करते हैं क्योंकि "मृत तर्क क्षेत्रों" में तर्न प्रशिक्षण वितरण के बाहर विफल हो जाता है, और मानव-समान अमूर्त तर्क और वर्तमान AI क्षमताओं के बीच अंतर को पूरा करने के लिए प्राकृतिक भाषा निर्देशों के विकास को एक विधि के रूप में प्रस्तावित करता है।