Dan Austin ha liberado como código abierto un sistema en el que un agente Qwen3.6-35B-A3B entrenado con RL escribe y envía autónomamente trabajos de entrenamiento completos para modelos Qwen más pequeños (0.6B o 1.7B). El agente utiliza el marco prime-rl para definir entornos, recompensas, conjuntos de datos e hiperparámetros, que luego se ejecutan en GPUs de Runpod.
- El bucle RL externo utiliza Tinker con LoRA y GRPO, recompensando al agente según la mejora del modelo interno en una evaluación oculta.
- En más de 54 pasos del bucle externo que involucraron aproximadamente 1.750 trabajos de entrenamiento en GPU, la recompensa del episodio aumentó desde ~0.0 hasta un pico de ~0.63.
- El agente aprendió a preferir el modelo base de 1.7B (el uso aumentó del 42% al 95%) y utilizó eficazmente el espacio de configuración de hiperparámetros.
- Se observó transferencia de habilidades en una familia de tareas reservada, con la recompensa media aumentando de 0.399 a 0.545 antes de estabilizarse.
- El experimento completo costó aproximadamente $1.3k, con cada trabajo de entrenamiento interno costando entre $0.13 y $0.30.
El proyecto demuestra que los sistemas de IA capaces de mejorar otros sistemas de IA se están volviendo más accesibles, requiriendo una depuración significativa del proceso en lugar de solo ajuste de políticas.