Microsoft memperkenalkan GFlowRL, algoritma pembelajaran penguatan yang disederhanakan yang menskalakan Jaringan Aliran Generatif ke model bahasa besar dengan menghapus jaringan partisi auxilliary. Metode ini mengganti fungsi partisi kondisional prompt yang dipelajari dengan estimasi Monte Carlo dalam batch dan menambahkan koreksi sampling kepentingan serta clipping celah aliran asimetris untuk stabilitas.
- GFlowRL menghilangkan ketidakstabilan gradien yang disebabkan oleh jaringan partisi sambil mempertahankan tujuan pencocokan distribusi imbalan.
- Ini mencapai peringkat Codeforces 2048 pada skala 14B, dalam jarak 25 Elo dari o3-mini.
- Algoritma ini mencapai rata-rata ASR@1 tertinggi di AdvBench dan HarmBench, mengungguli penyerang multi-giliran SOTA sebelumnya.
- GFlowRL bertransisi ke semua konfigurasi Mixture-of-Experts yang dievaluasi hingga 235B parameter di mana metode FlowRL sebelumnya gagal konvergen.
Pendekatan ini adalah algoritma RL gaya GFlowNet pertama yang menskalakan secara stabil di kedua arsitektur padat dan jarang, memungkinkan jalur penalaran beragam tanpa runtuh ke mode dominan.