OpenAI mengakui bahwa model Astra barunya secara signifikan lebih sulit dipantau dibandingkan iterasi sebelumnya, menandai penurunan efektivitas pemantauan Chain of Thought (CoT). Tren ini menunjukkan bahwa seiring meningkatnya kemampuan model, kemampuan untuk mendeteksi ketidaksesuaian melalui analisis CoT berkurang, yang berpotensi membuat sistem pemantauan saat ini tidak dapat diandalkan dalam satu tahun.
- Ilmuwan Utama OpenAI Jakub Pachocki mengonfirmasi bahwa ketergantungan pada pemantauan CoT secara bertahap menurun.
- Astra menunjukkan kemampuan yang lebih baik untuk menyelesaikan tugas tanpa CoT dan kontrol yang lebih baik atas output CoT-nya sendiri.
- Penurunan monitorabilitas melebihi apa yang dapat diprediksi hanya dari peningkatan kemampuan, menunjukkan adanya faktor lain yang terlibat.
- OpenAI sedang menyelidiki alternatif seperti pemantauan aktivasi dan skema pelatihan untuk mendorong monitorabilitas.
Artikel ini berargumen bahwa hilangnya monitorabilitas ini menimbulkan risiko serius, mendesak industri untuk melawan perlombaan ke dasar melalui aturan atau peningkatan aktif teknik pemantauan.