微软推出了 GFlowRL，这是一种简化的强化学习算法，通过移除辅助分区网络，将生成流网络（Generative Flow Networks）扩展到大语言模型。该方法用批量蒙特卡洛估计替换了学习的提示条件分区函数，并添加了重要性采样校正和非对称流间隙裁剪以实现稳定性。

  • GFlowRL 消除了由分区网络引起的梯度不稳定性，同时保留了奖励分布匹配目标。
  • 在 14B 规模下达到 Codeforces 评级 2048，与 o3-mini 相差 25 Elo。
  • 该算法在 AdvBench 和 HarmBench 上取得了最高的平均 ASR@1，优于之前的 SOTA 多轮攻击者。
  • GFlowRL 可迁移至所有评估过的 Mixture-of-Experts 配置（高达 235B 参数），而之前的 FlowRL 方法在此类配置中无法收敛。

这种方法是最早能够在密集和稀疏架构上稳定扩展的 GFlowNet 风格强化学习算法，能够生成多样化的推理路径，而不会坍缩到主导模式。