माइक्रोसॉफ्ट ने GFlowRL पेश किया है, एक सरलीकृत रीइन्फोर्समेंट लर्निंग एल्गोरिदम जो सहायक पार्τιशन नेटवर्क को हटाकर बड़े भाषा मॉडलों के लिए Generative Flow Networks को स्केल करता है। विधि सीखे गए प्रॉम्प्ट-शर्त वाले पार्टीशन फंक्शन की जगह इन-बैच मोन्टे कार्लो अनुमान से लेती है और स्थिरता के लिए महत्वता-नमूनाकरण सुधार और असममित फ्लो-गैप क्लिपिंग जोड़ती है।
- GFlowRL पार्टीशन नेटवर्क द्वारा कारण बने ग्रेडिएंट अस्थिरता को समाप्त करता है, जबकि रिवार्ड-डिस्ट्रीब्यूशन-मैचिंग उद्देश्य को बनाए रखता है।
- यह 14B स्केल पर Codeforces रेटिंग 2048 प्राप्त करता है, जो o3-mini के करीब 25 Elo के भीतर है।
- एल्गोरिदम AdvBench और HarmBench पर उच्चतम औसत ASR@1 प्राप्त करता है, पिछले SOTA मल्टी-टर्न अटैकर को पार करता है।
- GFlowRL 235B पैरामीटर तक सभी evaluated Mixture-of-Experts कॉन्फ़िगरेशन में स्थानांतरित होता है, जहाँ पूर्व FlowRL विधियाँ अभिसरण करने में विफल रहती हैं।
यह दृष्टिकोण सबसे पहले GFlowNet-शैली RL एल्गोरिदम है जो घन और विरल दोनों आर्किटेक्चर पर स्थिर रूप से स्केल करता है, प्रभावी मोड में गिरावट के बिना विविध तर्क पथों को सक्षम बनाता है।