जेरेमी बर्मान ने ओपनएआई के सनेट 3.5 मॉडल पर एवोल्यूशनरी अल्गोरिदम लागू करके ARC-AGI-Pub लीडरबोर्ड पर 53.6% सटीकता का एक नया पब्लिक रिकॉर्ड स्थापित किया, जिसने पिछले उच्चतम स्कोर 43% को पार कर दिया। यह दृष्टिकोण LLM को एक एवोल्यूशन इंजन के रूप में मानता है जो सीधे आउटपुट ग्रिड के बजाय पायथन ट्रांसफ़ॉर्म फ़ंक्शन्स को जनरेट और रिफ़ाइन करता है।
इस विधि में उम्मीदवार पायथन फ़ंक्शन्स की लहरों को जनरेट करना शामिल है और उन्हें दो-स्तरीय फिटनेस मूल्यांकन का उपयोग करके प्रदान किए गए ट्रेनिंग उदाहरणों के खिलाफ स्कोर किया जाता है।
- सर्वश्रेष्ठ प्रदर्शन करने वाले फ़ंक्शन्स को अगली पीढ़ियों के लिए रिवीजन प्रॉम्प्ट बनाने के लिए पैरेंट के रूप में चुना जाता है।
- यह प्रक्रिया कई पीढ़ियों से होकर गुजरती है, जिसमें 31 गतिशील प्रॉम्प्ट का उपयोग करके हर चुनौती के लिए अधिकतम 500 फ़ंक्शन्स जनरेट किए जा सकते हैं।
- अंतिम समाधान सभी पीढ़ियों में शीर्ष दो फ़ंक्शन्स से प्राप्त किए जाते हैं, जिन्हें उम्मीदवार आउटपुट ग्रिड के रूप में सबमिट किया जाता है।
बर्मान का सुझाव है कि एवोल्यूशनरी सिद्धांतों द्वारा निर्देशित टेस्ट-टाइम कंप्यूट को स्केल करने से LLM सामान्यीकरण की सीमाओं को पूरा कर सकते हैं और यह आर्टिफिशियल जनरल इंटेलिजेंस की ओर एक मार्ग का संकेत दे सकता है।