एक अध्ययन रीइन्फोर्स्मेंट लर्निंग (RL) पोस्ट-ट्रेनिंग संसाधनों के आवंटन की स्थिर-बजट निर्णय समस्या की जांच करता है, विशेष रूप से यह परखता है कि क्या बड़े पॉलिसियों, विस्तृत प्रशिक्षण, अधिक रोलआउट खोज या मजबूत रिवार्ड फीडबैक को प्राथमिकता दी जानी चाहिए।
- लेखकों ने GRPO पोस्ट-ट्रेनिंग के लिए एक FLOP-खाता-प्रबंधन ढांचे का परिचय दिया है जो कंप्यूट को रोलआउट/खोज, पॉलिसी-अपडेट/सीखने और रिवार्ड-मॉडल मूल्यांकन में विभाजित करता है।
- LoRA-अनुकूलित Qwen2.5 पॉलिसियों का विश्लेषण शर्तवार आवंटन सीमाओं को प्रकट करता है जहां इष्टतम रणनीति मॉडल आकार, बजट और रिवार्ड सिस्टम पर निर्भर करती है।
- बड़े पॉलिसी प्रति-टोकन कंप्यूट अधिक खपत करते हैं, जिसके परिणामस्वरूप समग्र बजट के तहत छोटे मॉडलों की तुलना में कम अपडेट या रोलआउट होते हैं।
- रिवार्ड सिस्टम वास्तुकला खाते को महत्वपूर्ण रूप से प्रभावित करती है; नियम-आधारित रिवार्ड अधिकांश गैर-अपडेट कंप्यूट को रोलआउट पर खर्च करते हैं, जबकि PRM-शैली का फीडबैक दृश्यमान बजट को इनफरेंस के लिए आवंटित करता है।
- पत्र महंगे वैलिडेशन रन से पहले आवंटन शासन की पहचान करने के लिए RACE को एक निदान पायलट-ग्रिड प्रोटोकॉल के रूप में प्रस्तावित करता है।
लेखकों का तर्क है कि RL पोस्ट-ट्रेनिंग पत्रों को मॉडल आकार, खोज, सीखने और फीडबैक के अनुदिश कंप्यूट की विशिष्ट विभाजन के साथ कुल FLOPs की रिपोर्ट करनी चाहिए।