Dan Austin 开源了一个系统，其中经过强化学习训练的 Qwen3.6-35B-A3B 代理自主编写并提交针对较小 Qwen 模型（0.6B 或 1.7B）的完整训练任务。该代理利用 prime-rl 框架来定义环境、奖励、数据集和超参数，随后在 Runpod GPU 上执行。

  • 外层强化学习循环使用 Tinker 结合 LoRA 和 GRPO，根据内层模型在隐藏评估上的改进情况对代理进行奖励。
  • 在涉及约 1,750 个 GPU 训练任务的 54 个外层循环步骤中，剧集奖励从 ~0.0 攀升至峰值 ~0.63。
  • 代理学会了偏好使用 1.7B 基础模型（使用率从 42% 上升至 95%），并有效利用了超参数配置空间。
  • 在保留的任务族中观察到了技能迁移，平均奖励从 0.399 增加至 0.545，随后趋于平稳。
  • 整个实验成本约为 1,300 美元，每个内层训练任务的成本在 0.13 美元至 0.30 美元之间。

该项目表明，能够改进其他 AI 系统的 AI 系统正变得更容易获取，这需要大量的过程调试，而不仅仅是策略调优。