ओपनएआई के मुख्य वैज्ञानिक ज़कुब पचॉकी ने एक निबंध प्रकाशित किया है जिसमें चेतावनी दी गई है कि मशीनें मानवों से महत्वपूर्ण रूप से अधिक बुद्धिमान होकर हमारी जीवनकाल में आ रही हैं, जो पुनरावर्ती स्व-सुधार (RSI) की दिशा में निरंतर प्रगति के प्रति एक मजबूत अपेक्षा द्वारा संचालित है। वह तर्क देते हैं कि वर्तमान एलाइनमेंट तकनीकें अपर्याप्त हैं और चेन ऑफ थॉट (CoT) जैसी निगरानी तकनीकें अपनी प्रभावकारिता खो रही हैं, जिसके परिणामस्वरूप तकनीकी समाधानों और व्यापक अंतर्राष्ट्रीय समन्वय दोनों की आवश्यकता है।
- पचॉकी बताते हैं कि मध्य 2023 में "RLSlow" परियोजना से प्राप्त आंतरिक परिणामों ने पहली बार स्केलिंग तर्क मॉडलों में आत्मविश्वास दिया, लेकिन साथ ही सुपरइंटेलिजेंस की ओर बढ़ने की गंभीर वास्तविकता भी उजागर की।
- उनका मानना है कि यदि एआई विकास अपने वर्तमान मार्ग पर जारी रहता है तो RSI कुछ वर्षों के भीतर घटित होगा, जिसमें सिस्टम अपनी ही विकास प्रक्रिया को बढ़ावा देने लगेंगे।
- ओपनएआई आवश्यकतानुसार आगे की स्केलिंग को एकतरफा रूप से रोक देगा और एलाइनमेंट के लिए लक्ष्य-उन्मुख पुनर्बल सीखने (goal-oriented reinforcement learning) और पूर्व-प्रशिक्षण डेटा से सामान्यीकरण दोनों में भारी निवेश करेगा।
- निबंध में लक्ष्य एलाइनमेंट (निर्धारित लक्ष्यों को प्राप्त करना) और मूल्य एलाइनमेंट (मानवीय सिद्धांतों का सामान्यीकरण) के बीच अंतर स्पष्ट किया गया है, जिसमें दूसरे को तत्काल ध्यान की आवश्यकता वाला मुख्य समस्या बताया गया है।
- पचॉकी चेतावनी देते हैं कि एआई को सभी मानवीय क्षमताओं में श्रेष्ठ होने की आवश्यकता नहीं है, बल्कि केवल इतना ही पर्याप्त है कि वह वास्तविक दुनिया में प्रासंगिक बन जाए, जिससे उसकी सच्ची क्षमता को समझना कठिन होता जा रहा है।
पचॉकी निष्कर्ष निकालते हैं कि अत्यंत सावधानी की आवश्यकता है क्योंकि कोई भी वर्तमान में तेजी से बढ़ती मशीनी बुद्धिमत्ता के परिणामों के लिए तैयार नहीं है, और वे स्वैच्छिक धीमी गति, लय समन्वय और एलाइनमेंट शोध में निरंतर निवेश का संयोजन करने का आह्वान करते हैं।