Ilmuwan Utama OpenAI Jakub Pachocki telah menerbitkan sebuah esai yang memperingatkan bahwa mesin yang secara signifikan lebih cerdas daripada manusia akan muncul dalam masa hidup kita, didorong oleh ekspektasi kuat atas kemajuan berkelanjutan menuju peningkatan diri rekursif (RSI). Ia berargumen bahwa teknik keselarasan saat ini tidak memadai dan teknologi pemantauan seperti Chain of Thought (CoT) semakin kehilangan efektivitasnya, sehingga memerlukan solusi teknis serta koordinasi internasional yang lebih luas.
- Pachocki menyatakan bahwa hasil internal dari proyek "RLSlow" pada pertengahan 2023 pertama kali memberikan keyakinan dalam penskalaan model penalaran, tetapi juga mengungkap kenyataan pahit tentang mendekati superkecerdasan.
- Ia memperkirakan RSI akan terjadi dalam beberapa tahun ke depan jika pengembangan AI terus berlanjut di jalur saat ini, dengan sistem yang semakin mendorong pengembangan mereka sendiri.
- OpenAI akan secara sepihak menahan lebih lanjut penskalaan sesuai kebutuhan dan berinvestasi besar-besaran baik dalam pembelajaran penguatan berbasis tujuan maupun generalisasi dari data pra-pelatihan untuk keselarasan.
- Esai tersebut membedakan antara keselarasan tujuan (mencapai tujuan yang ditetapkan) dan keselarasan nilai (menggeneralisasi prinsip-prinsip manusia), dengan mengidentifikasi yang terakhir sebagai masalah inti yang memerlukan perhatian mendesak.
- Pachocki memperingatkan bahwa AI tidak perlu melampaui semua kemampuan manusia untuk menjadi berbahaya, cukup hanya untuk menjadi relevan di dunia nyata, sehingga semakin sulit untuk memahami kemampuan sebenarnya.
Pachocki menyimpulkan bahwa kehati-hatian ekstrem diperlukan karena saat ini tidak ada yang siap menghadapi konsekuensi dari pertumbuhan kecerdasan mesin yang cepat, dan ia menyerukan kombinasi perlambatan sukarela, koordinasi tempo, serta investasi berkelanjutan dalam penelitian keselarasan.