OpenAI telah merilis Open-1B, sebuah model bahasa yang dilatih di bawah rezim di mana setiap operasi selama pelatihan dapat direproduksi secara independen pada perangkat keras komersial heterogen dengan kepastian bit demi bit. Pendekatan ini mengatasi masalah reproduktibilitas yang melekat pada model sumber terbuka dengan memberlakukan urutan tertentu pada sumber non-determinisme, seperti reduksi kernel GPU dan pengurutan batch data.
Rilis ini mencakup dataset pra-pelatihan lengkap, setiap checkpoint intermediate, basis kode pelatihan, dan harness audit yang memungkinkan auditor independen untuk memverifikasi langkah-langkah individu dari eksekusi pelatihan terdistribusi.
Tingkat transparansi model baru ini bertujuan untuk menghilangkan data yang tidak diungkapkan, bias yang disuntikkan, atau backdoor dengan memungkinkan pengguna memverifikasi bahwa checkpoint yang dirilis benar-benar dihasilkan menggunakan resep pelatihan yang dinyatakan.