Tantangan Reproduksi Terbuka ICML 2026, yang berlangsung dari 15 Juli hingga 2 Agustus 2026, melibatkan komunitas dalam mereproduksi makalah yang diterima menggunakan agen AI dan pengawasan manusia. Upaya ini menghasilkan audit klaim demi klaim terbuka terbesar untuk konferensi pembelajaran mesin hingga saat ini.
- Dari makalah yang diperiksa, 51% memiliki setidaknya satu klain yang diverifikasi secara independen, sementara 23% memiliki setidaknya satu klaim palsu atau dipertanyakan.
- 496 makalah memiliki setidaknya satu klaim palsu atau dipertanyakan, termasuk 49 di mana semua klaim dipalsukan dan 242 di mana tim mencapai putusan berlawanan.
- Kesalahan yang dikonfirmasi mencakup istilah ketahanan algoritma paging yang tumbuh secara salah, teorema yang gagal setelah langkah 224, dan kode yang menggunakan kerugian divergensi KL yang salah.
- Tantangan ini menyoroti bahwa alur kerja manusia-dalam-loop lebih andal daripada eksekusi agen murni untuk menangkap kesalahan halus dan mengevaluasi kualitas perseptual.
Para penyelenggara menyimpulkan bahwa meskipun agen dapat menskalakan upaya reproduksi, manusia tetap penting untuk mengarahkan agen, mempertanyakan asumsi, dan melakukan evaluasi yang tidak dapat direduksi oleh manusia.