Sebuah panduan tentang "rekayasa loop" menjelaskan bagaimana agen AI dapat melakukan penelitian pembelajaran mesin otonom dengan mengganti iterasi manual dengan loop otomatis. Artikel ini merinci repositori open-source `autoresearch` dari Andrej Karpathy dan makalah `Bilevel Autoresearch` sebagai artefak terverifikasi untuk pola ini.
- Karpathy merilis `autoresearch` pada 7 Maret 2026, sebuah alat berlisensi MIT yang memungkinkan agen mengedit kode pelatihan sambil menjaga utilitas evaluasi tetap, mencegah penipuan diri.
- Dalam pengujian pada kode berkualitas GPT-2, loop tersebut menjalankan sekitar 700 eksperimen selama dua hari, mengidentifikasi 20 peningkatan nyata yang memangkas waktu pelatihan sebesar 11%.
- CEO Shopify, Tobi Lütke, melaporkan peningkatan 19% setelah 37 eksperimen semalam menggunakan alat yang sama pada model internal.
- Makalah `Bilevel Autoresearch` memperkenalkan loop luar yang memodifikasi mekanisme pencarian loop dalam, mencapai penurunan bits per byte validasi lima kali lebih besar daripada loop tunggal saja.
Loop-loop ini memungkinkan AI menyempurnakan model atau kode secara otonom dengan terus-menerus mengusulkan perubahan, memverifikasi hasil terhadap metrik ketat, dan hanya mempertahankan peningkatan yang valid.