Sebuah studi menyelidiki masalah keputusan anggaran tetap dalam mengalokasikan sumber daya pasca-pelatihan Pembelajaran Penguatan (RL), khususnya memeriksa apakah harus memprioritaskan kebijakan yang lebih besar, pelatihan yang diperpanjang, pencarian rollout lebih banyak, atau umpan balik hadiah yang lebih kuat.
- Penulis memperkenalkan kerangka akuntansi FLOP untuk pasca-pelatihan GRPO yang menguraikan komputasi menjadi pencarian/rollout, pembaruan kebijakan/pembelajaran, dan evaluasi model hadiah.
- Analisis kebijakan Qwen2.5 yang diadaptasi LoRA mengungkapkan frontier alokasi kondisional di mana strategi optimal bergantung pada ukuran model, anggaran, dan sistem hadiah.
- Kebijakan yang lebih besar mengonsumsi lebih banyak komputasi per token, menghasilkan pembaruan atau rollout yang lebih sedikit di bawah total anggaran yang sama dibandingkan dengan model yang lebih kecil.
- Arsitektur sistem hadiah secara signifikan memengaruhi akuntansi; hadiah berbasis aturan menghabiskan sebagian besar komputasi non-pembaruan pada rollout, sementara umpan balik gaya PRM mengalokasikan anggaran terlihat ke inferensi.
- Makalah ini mengusulkan RACE sebagai protokol grid pilot diagnostik untuk mengidentifikasi rezim alokasi sebelum jalankan validasi yang mahal.
Para penulis berargumen bahwa makalah pasca-pelatihan RL harus melaporkan total FLOPs bersama dengan pembagian komputasi spesifik di antara ukuran model, pencarian, pembelajaran, dan umpan balik.