Microsoft présente GFlowRL, un algorithme d'apprentissage par renforcement simplifié qui met à l'échelle les Réseaux de Flux Génératifs aux grands modèles de langage en supprimant le réseau de partition auxiliaire. La méthode remplace la fonction de partition conditionnelle au prompt apprise par une estimation Monte Carlo par lot et ajoute une correction d'échantillonnage préférentiel et un clipping asymétrique du gap de flux pour la stabilité.
- GFlowRL élimine l'instabilité du gradient causée par le réseau de partition tout en préservant l'objectif d'appariement de la distribution de récompense.
- Il atteint une cote Codeforces de 2048 à l'échelle de 14B, à moins de 25 Elo d'o3-mini.
- L'algorithme obtient la moyenne ASR@1 la plus élevée sur AdvBench et HarmBench, surpassant les attaquants multi-tours SOTA précédents.
- GFlowRL se transfère à toutes les configurations Mixture-of-Experts évaluées jusqu'à 235B paramètres où les méthodes FlowRL précédentes échouent à converger.
Cette approche est le premier algorithme RL de style GFlowNet à s'étendre stablement sur les architectures denses et clairsemées, permettant des chemins de raisonnement diversifiés sans se réduire aux modes dominants.