4B और 8B स्केल के भाषा और दृश्य-भाषा मॉडल्स पर 18 रन का एक नियंत्रित अध्ययन पाता है कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) हासिल किए गए कार्यों पर एक मजबूत सपर्यवेक्षित आधार के सापेक्ष सफलता दरों में विश्वसनीय रूप से सुधार नहीं करता। मध्यम से उच्च लर्निंग रेट प्रदर्शन को खराब करते हैं, जबकि विधि तभी मदद करती है जब नमूना पॉलिसी पहले से ही भूखी (greedy) पॉलिसी की तुलना में अधिक बार सफल होती है।
- लर्निंग रेट, KL वजन, बीज, प्रारंभीकरण और क्लिपिंग में परिवर्तन के पार किसी भी कॉन्फ़िगरेशन ने सफलता दरों को नहीं बढ़ाया।
- 25 मूल्यांकन बीज और 6 प्रशिक्षण बीज के साथ युग्मित परीक्षण के तहत शून्य परिणाम बना हुआ है।
- GRPO उन कार्यों पर सफलता को 22 अंक से बढ़ाता है जहाँ पुरस्कार नमूनीकरण द्वारा प्राप्त किया जा सकता है।
- मध्यम लर्निंग रेट ध्यान और MLP ब्लॉकों को खराब करते हैं, जबकि उच्च रेट बिना किसी ट्रेस करने योग्य समूह स्थानीयकरण के पतन का कारण बनते हैं।
- 4B पर, देर की परतों में प्रभावी रैंक क्षमता का अनुसरण करता है; 8B पर, यह युग्मन गायब हो जाता है।
असफलता संकेत करती है कि GRPO उन एजेंट्स के लिए असक्षम है जो पहले से ही कार्य को हासिल कर चुके हैं, क्योंकि यह मुख्य रूप से मौजूदा व्यवहार को पुनः आकार देता है न कि नई कौशल जोड़ता है।