लेखकों ने AdaPrefix-GRPO का प्रस्ताव दिया, एक विधि जो Group Relative Policy Optimization (GRPO) प्रशिक्षण के दौरान एक सही समाधान उपसर्ग की लंबाई को गतिशील रूप से समायोजित करती है। उपसर्ग की लंबाई को फीडबैक-नियंत्रित नॉब के रूप में मानकर, सिस्टम पूरी तरह से सहायता वापस लेने से पहले ग्रेडिएंट संकेत को अधिकतम करने के लिए 50% के करीब सफलता दर बनाए रखता है।
- यह दृष्टिकोण GRPO को कठिन समस्याओं पर अटकने से रोकता है जहां शून्य सफलताओं के कारण समूह-सापेक्ष लाभ गायब हो जाते हैं।
- इससे मेल खाते प्रशिक्षण FLOPs पर कठिन गणित बेंचमार्क पर 0.6B मॉडल के लिए सटीकता में 2x से अधिक और Qwen3-1.7B के लिए 1.6x की वृद्धि होती है।
- विधि ट्रैस लंबाई को लगभग आधा कर देती है जबकि केवल डेटा तैयारी परिवर्तनों और उपसर्ग टोकन पर एक हानि मास्क की आवश्यकता होती है।
यह तकनीक मॉडल को अग्रणी उदाहरणों से अधिक प्रभावी ढंग से सीखने देती है, यह सुनिश्चित करते हुए कि कठिनाई को मॉडल की वर्तमान क्षमता के अनुरूप लगातार समायोजित किया जाता है।