Microsoft는 보조 파티션 네트워크를 제거하여 생성 흐름 네트워크를 대규모 언어 모델로 확장하는 간소화된 강화 학습 알고리즘인 GFlowRL을 소개했습니다. 이 방법은 학습된 프롬프트 조건부 파티션 함수를 배치 내 몬테카를로 추정치로 대체하고 안정성을 위해 중요도 샘플링 보정 및 비대칭 흐름 갭 클리핑을 추가합니다.
- GFlowRL은 보상-분포-일치 목적을 유지하면서 파티션 네트워크로 인한 그래디언트 불안정성을 제거합니다.
- 14B 규모에서 Codeforces 등급 2048을 달성하여 o3-mini와 25 Elo 차이 이내입니다.
- 이 알고리즘은 AdvBench 및 HarmBench에서 최고 평균 ASR@1을 달성하여 이전 SOTA 다중 턴 공격자를 능가합니다.
- GFlowRL은 기존 FlowRL 방법이 수렴하지 못하는 235B 파라미터까지의 모든 평가된 Mixture-of-Experts 구성으로 이전 가능합니다.
이 접근 방식은 밀집 및 희소 아키텍처 모두에서 안정적으로 확장되는 최초의 GFlowNet 스타일 RL 알고리즘으로, 지배적인 모드로 붕괴되지 않고 다양한 추론 경로를 가능하게 합니다.