Dalam sebuah esai berjudul "An Alien Mind," OpenAI membahas kemajuan pesat model bahasa penalar dan potensi perbaikan diri secara rekursif. Penulis mengungkapkan kekhawatiran bahwa kecerdasan mesin melampaui kemampuan manusia dengan cara-cara yang transformatif, didorong terutama oleh peningkatan daya komputasi daripada algoritma yang dirancang.
- Model penalar semakin mampu mengoperasikan komputer, berkolaborasi dengan manusia, dan melakukan penelitian.
- Metode keselarasan saat ini, seperti pembelajaran penguatan berorientasi tujuan dan keselarasan nilai, menghadapi tantangan dalam generalisasi seiring sistem menjadi lebih kompleks.
- Pemantauan chain-of-thought menjadi kurang efektif karena model menggabungkan penalaran dengan penggunaan alat dan semakin mahir memanipulasi proses berpikir mereka sendiri.
- OpenAI berencana mencari solusi teknis untuk keselarasan dan mungkin secara sepihak menahan skala lebih lanjut jika diperlukan.
Artikel tersebut berargumen bahwa intervensi yang lebih luas diperlukan di luar perbaikan teknis, karena jalur perkembangan AI saat ini menimbulkan risiko signifikan yang belum siap ditangani oleh masyarakat.