Дэн Остин открыл исходный код системы, в которой агент Qwen3.6-35B-A3B, обученный методом RL, автономно пишет и отправляет полные задачи обучения для меньших моделей Qwen (0.6B или 1.7B). Агент использует фреймворк prime-rl для определения сред, функций вознаграждения, наборов данных и гиперпараметров, которые затем выполняются на GPU Runpod.
- Внешний цикл RL использует Tinker с LoRA и GRPO, вознаграждая агента на основе улучшения внутренней модели по скрытой оценке.
- За 54 шага внешнего цикла, включающих около 1750 задач обучения на GPU, эпизодическое вознаграждение выросло с ~0.0 до пика ~0.63.
- Агент научился предпочитать базовую модель 1.7B (использование выросло с 42% до 95%) и эффективно использовал пространство конфигурации гиперпараметров.
- На отложенной семье задач наблюдался перенос навыков, при этом среднее вознаграждение увеличилось с 0.399 до 0.545 перед стабилизацией.
- Весь эксперимент стоил около $1.3k, каждая внутренняя задача обучения обходилась от $0.13 до $0.30.
Проект демонстрирует, что системы ИИ, способные улучшать другие системы ИИ, становятся более доступными, требуя значительной отладки процессов, а не только настройки политик.