डैन ऑस्टिन ने एक ऐसा सिस्टम ओपन-सोर्स किया है जहाँ एक RL-प्रशिक्षित Qwen3.6-35B-A3B एजेंट स्वतंत्र रूप से छोटे Qwen मॉडल्स (0.6B या 1.7B) के लिए पूर्ण प्रशिक्षण कार्य लिखता और सबमिट करता है। एजेंट prime-rl हार्नेस का उपयोग पर्यावरण, पुरस्कार, डेटासेट और हाइपरपैरामीटर को परिभाषित करने के लिए करता है, जिन्हें बाद में Runpod GPUs पर निष्पादित किया जाता है।
- बाहरी RL लूप Tinker with LoRA और GRPO का उपयोग करता है, जो एजेंट को छिपे हुए मूल्यांकन पर आंतरिक मॉडल की सुधार के आधार पर पुरस्कार देता है।
- लगभग 1,750 GPU प्रशिक्षण कार्यों वाले 54 बाहरी-लूप चरणों में, एपिसोड पुरस्कार ~0.0 से बढ़कर ~0.63 के शिखर तक पहुँचा।
- एजेंट ने 1.7B बेस मॉडल को प्राथमिकता देने का सीखा (उपयोग 42% से बढ़कर 95% हो गया) और हाइपरपैरामीटर कॉन्फ़िगरेशन स्पेस का प्रभावी ढंग से उपयोग किया।
- एक हल्का-आउट कार्य परिवार में कौशल स्थानांतरण देखा गया, जिसमें माध्य पुरस्कार 0.399 से बढ़कर 0.545 हो गया और फिर स्थिर हो गया।
- पूरे प्रयोग का खर्च लगभग $1.3k था, जहाँ प्रत्येक आंतरिक प्रशिक्षण कार्य का खर्च $0.13 से $0.30 के बीच था।
यह परियोगम दिखाती है कि अन्य AI सिस्टम को बेहतर बनाने में सक्षम AI सिस्टम अधिक सुलभ होते जा रहे हैं, जिनमें केवल पॉलिसी ट्यूनिंग के बजाय महत्वपूर्ण प्रक्रिया डीबगिंग की आवश्यकता होती है।