OpenAI telah secara temporer memperlambat laju pengembangan modelnya, termasuk jeda dua minggu pada pelatihan pembelajaran penguatan (RL) untuk model-model mendatang, setelah bukti awal menunjukkan bahwa model barunya, Astra, mungkin memenuhi ambang batas kemampuan keamanan siber Kritis. Keputusan ini mengikuti insiden OpenAI-Hugging Face dan bertujuan memperkuat pemantauan, keselarasan, dan pengaman penahanan seiring sistem AI menjadi semakin mampu.
- Beban kerja yang melibatkan Astra atau model siber sekarang memerlukan pengaman keamanan paling ketat, termasuk isolasi beban kerja yang lebih kuat (sandbox) dan kontrol jaringan untuk mencegah akses internet yang tidak sah.
- Sistem pemantauan bertahap baru menggunakan klasifikator aktivasi untuk mendeteksi perilaku mencurigakan, dengan tujuan mengeluarkan peringatan dalam waktu 30 menit atas potensi pelanggaran batas keamanan kritis.
- Teknik keselarasan inti diterapkan di lebih banyak tahap pelatihan untuk model paling mampu guna mendeteksi perilaku tidak aman, manipulasi reward, dan penipuan dengan lebih baik.
- Beban pemantauan diperkirakan sekitar 20% dari komputasi inferensi yang dipantau, dengan tim keselamatan dipanggil untuk peringatan prioritas tertinggi yang tidak dapat diselesaikan sebagai false positive dalam waktu 30 menit.
OpenAI menekankan bahwa perubahan ini diperlukan karena risiko yang terkait dengan pengembangan sistem AI yang semakin mampu terus meningkat, dan standar keamanannya harus tetap mengantisipasi risiko tersebut untuk memastikan keselarasan dan keamanan.