A Microsoft apresenta o GFlowRL, um algoritmo de aprendizado por reforço simplificado que escala as Generative Flow Networks para grandes modelos de linguagem ao remover a rede auxiliar de partição. O método substitui a função de partição condicional aprendida por uma estimativa Monte Carlo em lote e adiciona correção de amostragem por importância e corte assimétrico da lacuna de fluxo para estabilidade.
- GFlowRL elimina a instabilidade do gradiente causada pela rede de partição, preservando o objetivo de correspondência da distribuição de recompensa.
- Alcança uma classificação Codeforces de 2048 na escala de 14B, dentro de 25 Elo do o3-mini.
- O algoritmo atinge a maior ASR@1 média no AdvBench e HarmBench, superando os atacantes multi-turno SOTA anteriores.
- GFlowRL é transferível para todas as configurações Mixture-of-Experts avaliadas até 235B parâmetros, onde métodos FlowRL anteriores falham em convergir.
Esta abordagem é o primeiro algoritmo RL no estilo GFlowNet a escalar de forma estável tanto em arquiteturas densas quanto esparsas, permitindo diversos caminhos de raciocínio sem colapsar para modos dominantes.