Dan Austin telah membuka sumber sistem di mana agen Qwen3.6-35B-A3B yang dilatih dengan RL secara otonom menulis dan menyerahkan pekerjaan pelatihan lengkap untuk model-model Qwen yang lebih kecil (0,6B atau 1,7B). Agen tersebut memanfaatkan prime-rl harness untuk mendefinisikan lingkungan, imbalan, dataset, dan hyperparameter, yang kemudian dieksekusi pada GPU Runpod.
- Loop RL luar menggunakan Tinker dengan LoRA dan GRPO, memberi imbalan kepada agen berdasarkan peningkatan model internal pada evaluasi tersembunyi.
- Selama 54 langkah loop luar yang melibatkan sekitar 1.750 pekerjaan pelatihan GPU, episode reward meningkat dari ~0,0 ke puncak ~0,63.
- Agen belajar lebih memilih model dasar 1,7B (penggunaan naik dari 42% menjadi 95%) dan secara efektif memanfaatkan ruang konfigurasi hyperparameter.
- Transfer keterampilan diamati dalam keluarga tugas yang dihold-out, dengan rata-rata reward meningkat dari 0,399 menjadi 0,545 sebelum plateau.
- Seluruh eksperimen biaya sekitar $1,3k, dengan setiap pekerjaan pelatihan internal berharga antara $0,13 dan $0,30.
Proyek ini menunjukkan bahwa sistem AI yang mampu meningkatkan sistem AI lain menjadi lebih mudah diakses, memerlukan debugging proses yang signifikan daripada hanya tuning kebijakan.