Dan Austin disponibilizou como código aberto um sistema em que um agente Qwen3.6-35B-A3B treinado com RL escreve e submete autonomamente jobs de treinamento completos para modelos menores do Qwen (0,6B ou 1,7B). O agente utiliza o framework prime-rl para definir ambientes, recompensas, conjuntos de dados e hiperparâmetros, que são então executados em GPUs da Runpod.
- O loop RL externo usa Tinker com LoRA e GRPO, recompensando o agente com base na melhoria do modelo interno em uma avaliação oculta.
- Ao longo de 54 etapas do loop externo envolvendo aproximadamente 1.750 jobs de treinamento em GPU, a recompensa do episódio subiu de ~0,0 para um pico de ~0,63.
- O agente aprendeu a preferir o modelo base de 1,7B (o uso aumentou de 42% para 95%) e utilizou efetivamente o espaço de configuração dos hiperparâmetros.
- Transferência de habilidade foi observada em uma família de tarefas mantida fora do treinamento, com a recompensa média aumentando de 0,399 para 0,545 antes de estabilizar.
- O experimento inteiro custou aproximadamente $1,3k, com cada job de treinamento interno custando entre $0,13 e $0,30.
O projeto demonstra que sistemas de IA capazes de melhorar outros sistemas de IA estão se tornando mais acessíveis, exigindo depuração significativa do processo em vez de apenas ajuste de política.