ARC-AGI सेमी-प्राइवेट डेटासेट पर हियरार्किकल रीजनिंग मॉडल (HRM) की एक स्वतंत्र पुष्टि ने ARC-AGI-1 पर 32% और ARC-AGI-2 पर 2% स्कोर को दोहराया, जिसने इसके 27M पैरामीटर आकार के लिए प्रभावशाली परिणामों की पुष्टि की। अबलेशन अध्ययनों ने दिखाया कि मॉडल का हियरार्किकल आर्किटेक्चर एक समान आकार के ट्रांसफॉर्मर की तुलना में न्यूनतम प्रभाव डालता है, जबकि बाहरी लूप परिष्करण प्रक्रिया ने महत्वपूर्ण प्रदर्शन लाभ प्रदान किए।
- HRM ने ARC-AGI-1 पर 32% और ARC-AGI-2 सेमी-प्राइवेट सेट्स पर 2% प्राप्त किया।
- बेस ट्रांसफॉर्मर की तुलना में हियरार्किकल H-L गणना ने प्रदर्शन में न्यूनतम योगदान दिया।
- बाहरी लूप परिष्करण प्रक्रिया को सफलता का प्राथमिक कारण बताया गया, विशेष रूप से प्रशिक्षण के दौरान।
- क्रॉस-टास्क ट्रांसफर लर्निंग ने सीमित लाभ दिखाए, जहाँ अधिकांश प्रदर्शन विशिष्ट मूल्यांकन कार्यों को याद रखने के लिए जिम्मेदार था।
- प्री-ट्रेनिंग टास्क ऑगमेंटेशन महत्वपूर्ण था, जिसके लिए मूल पेपर में रिपोर्ट किए गए 1,000 की जगह केवल 300 ऑगमेंटेशन की आवश्यकता थी।
ये निष्कर्ष सुझाव देते हैं कि HRM का दृष्टिकोण मौलिक रूप से "प्री-ट्रेनिंग के बिना ARC-AGI" के समान है, जिससे इसकी मस्तिष्क-प्रेरित हियरार्किकल आर्किटेक्चर को प्रमुख अंतरकारक मानने वाली कथा चुनौतीपूर्ण हो जाती है।