Microsoft представляет GFlowRL, упрощённый алгоритм обучения с подкреплением, который масштабирует Generative Flow Networks для больших языковых моделей за счёт удаления вспомогательной сети разбиения. Метод заменяет обучаемую условную функцию разбиения на пакетную оценку методом Монте-Карло и добавляет коррекцию выборки по важности и асимметричную обрезку разрыва потока для стабильности.
- GFlowRL устраняет нестабильность градиента, вызванную сетью разбиения, сохраняя при этом цель согласования распределения вознаграждения.
- Он достигает рейтинга Codeforces 2048 в масштабе 14B, находясь в пределах 25 Elo от o3-mini.
- Алгоритм показывает наивысший средний ASR@1 на AdvBench и HarmBench, превосходя предыдущие SOTA многоэтапные атакующие модели.
- GFlowRL переносится на все оценённые конфигурации Mixture-of-Experts до 235B параметров, где предыдущие методы FlowRL не сходятся.
Этот подход является первым алгоритмом RL в стиле GFlowNet, стабильно масштабируемым как для плотных, так и для разреженных архитектур, что позволяет формировать разнообразные пути рассуждения без коллапса к доминирующим режимам.