Microsoft presenta GFlowRL, un algoritmo de aprendizaje por refuerzo simplificado que escala las Generative Flow Networks a modelos de lenguaje grandes eliminando la red auxiliar de partición. El método reemplaza la función de partición condicional aprendida con una estimación Monte Carlo en lote y añade corrección de muestreo por importancia y recorte asimétrico del salto de flujo para estabilidad.
- GFlowRL elimina la inestabilidad del gradiente causada por la red de partición mientras preserva el objetivo de coincidencia de distribución de recompensa.
- Alcanza una calificación de Codeforces de 2048 a escala de 14B, dentro de 25 Elo de o3-mini.
- El algoritmo obtiene el mayor ASR@1 promedio en AdvBench y HarmBench, superando a los atacantes multi-turno SOTA anteriores.
- GFlowRL se transfiere a todas las configuraciones Mixture-of-Experts evaluadas hasta 235B parámetros donde los métodos FlowRL anteriores no convergen.
Este enfoque es el primer algoritmo RL al estilo GFlowNet que escala de manera estable tanto en arquitecturas densas como dispersas, permitiendo diversas rutas de razonamiento sin colapsar hacia modos dominantes.