Dan Austinは、RLでトレーニングされたQwen3.6-35B-A3Bエージェントが自律的に小規模なQwenモデル（0.6Bまたは1.7B）の完全なトレーニングジョブを作成・提出するシステムをオープンソース化した。このエージェントはprime-rlハーネスを利用して環境、報酬、データセット、ハイパーパラメータを定義し、Runpod GPU上で実行される。

  • 外部RLループではTinkerとLoRAおよびGRPOを使用し、内部モデルの隠れた評価での改善に基づいてエージェントに報酬を与える。
  • 約1,750件のGPUトレーニングジョブを含む54回の外部ループステップを経て、エピソード報酬は約0.0からピーク値の約0.63まで上昇した。
  • エージェントは1.7Bベースモデルを好むようになり（使用率が42%から95%に増加）、ハイパーパラメータ構成空間を効果的に活用した。
  • 保留されたタスクファミリーにおいてスキル転移が観察され、平均報酬は0.399から0.545に増加してその後頭打ちになった。
  • 実験全体の費用は約1,300ドルで、各内部トレーニングジョブの費用は0.13ドルから0.30ドルの間だった。

このプロジェクトは、他のAIシステムを改善できるAIシステムがより身近になっており、ポリシーチューニングだけでなくプロセスのデバッグが重要であることを示している。