एक अध्ययन जांचता है कि रिवार्ड फंक्शन डिज़ाइन बड़े भाषा मॉडलों द्वारा पुनर्बल सीखने का उपयोग करके उत्पन्न व्यावसायिक प्रक्रिया मॉडलों की गुणवत्ता को कैसे प्रभावित करता है। शोधकर्ताओं ने वाक्यविन्यास, व्यवहारवादी और अर्थशास्त्रीय गुणवत्ता को अनुकूलित करने के लिए 48 विन्यासों के तहत Llama 3.1 8B और Qwen 2.5 14B मॉडलों को प्रशिक्षित किया।
- RL अर्थशास्त्रीय सटीकता को बनाए रखते हुए व्यवहारवादी और वाक्यविन्यास गुणवत्ता को महत्वपूर्ण रूप से सुधारता है, आउटपुट परिवर्तनशीलता को छह गुना से अधिक कम करता है।
- बराबर रिवार्ड वजन लक्षित वजन की तुलना में लगातार बेहतर प्रदर्शन करता है, क्योंकि किसी विशिष्ट आयाम पर जोर देने से मॉडल कम गुणवत्ता वाले मोड में ढह सकता है।
डिज़ाइन चयन मॉडल वास्तुकला के साथ गैर-सरल तरीके से इंटरैक्ट करते हैं; उदाहरण के लिए, अमान्यता जुर्माने और SFT प्रारंभीकरण प्रभाव Llama और Qwen के बीच भिन्न होते हैं।
निष्कर्ष दर्शाते हैं कि रिवार्ड संरचना अनुकूलन परिणामों का एक प्राथमिक निर्धारक है, जिसके प्रभाव RL लागू करने के निर्णय के तुलनीय हैं।