Dan Austin는 RL로 훈련된 Qwen3.6-35B-A3B 에이전트가 자율적으로 작은 Qwen 모델(0.6B 또는 1.7B)에 대한 완전한 학습 작업을 작성하고 제출하는 시스템을 오픈소스로 공개했습니다. 이 에이전트는 prime-rl 하네스를 사용하여 환경, 보상, 데이터셋, 하이퍼파라미터를 정의하며, 이는 Runpod GPU에서 실행됩니다.

  • 외부 RL 루프는 Tinker와 LoRA 및 GRPO를 사용하며, 내부 모델의 숨겨진 평가에서의 개선을 기반으로 에이전트에 보상을 제공합니다.
  • 약 1,750개의 GPU 학습 작업을 포함한 54개의 외부 루프 단계 동안 에피소드 보상은 약 0.0에서 최대 약 0.63까지 상승했습니다.
  • 에이전트는 1.7B 기본 모델을 선호하게 되었으며(사용률이 42%에서 95%로 증가) 하이퍼파라미터 구성 공간을 효과적으로 활용했습니다.
  • 홀드아웃 작업 패밀리에서 기술 전이가 관찰되었으며, 평균 보상은 0.399에서 0.545로 증가한 후 정체되었습니다.
  • 전체 실험 비용은 약 $1.3k였으며, 각 내부 학습 작업의 비용은 $0.13에서 $0.30 사이였습니다.

이 프로젝트는 다른 AI 시스템을 개선할 수 있는 AI 시스템이 더 접근 가능해지고 있으며, 정책 튜닝뿐만 아니라 프로세스 디버깅이 필요함을 보여줍니다.