Dan Austin a open-sourcé un système où un agent Qwen3.6-35B-A3B entraîné par RL écrit et soumet autonomement des tâches d'entraînement complètes pour de petits modèles Qwen (0,6B ou 1,7B). L'agent utilise le framework prime-rl pour définir les environnements, les récompenses, les ensembles de données et les hyperparamètres, qui sont ensuite exécutés sur des GPU Runpod.

  • La boucle RL externe utilise Tinker avec LoRA et GRPO, récompensant l'agent en fonction de l'amélioration du modèle interne sur une évaluation cachée.
  • Sur 54 étapes de la boucle externe impliquant environ 1 750 tâches d'entraînement GPU, la récompense par épisode est passée d'environ 0,0 à un pic d'environ 0,63.
  • L'agent a appris à préférer le modèle de base 1,7B (l'utilisation est passée de 42 % à 95 %) et a efficacement utilisé l'espace de configuration des hyperparamètres.
  • Un transfert de compétences a été observé dans une famille de tâches tenue à part, avec une récompense moyenne augmentant de 0,399 à 0,545 avant de se stabiliser.
  • L'expérience entière a coûté environ 1 300 $, chaque tâche d'entraînement interne coûtant entre 0,13 $ et 0,30 $.

Le projet démontre que les systèmes IA capables d'améliorer d'autres systèmes IA deviennent plus accessibles, nécessitant un débogage de processus important plutôt que simplement un réglage de politique.