Microsoftは、補助パーティションネットワークを削除することで、生成フローネットワークを大規模言語モデルにスケーリングする効率化された強化学習アルゴリズムであるGFlowRLを発表しました。この手法は、学習されたプロンプト条件付きパーティション関数をバッチ内モンテカルロ推定に置き換え、安定性のために重要度サンプリングの補正と非対称フローギャップクリッピングを追加します。

  • GFlowRLは、報酬分布一致の目的を維持しつつ、パーティションネットワークによって引き起こされる勾配の不安定性を排除します。
  • 14BスケールでCodeforcesレーティング2048を達成し、o3-miniと25 Elo差以内です。
  • アルゴリズムはAdvBenchおよびHarmBenchで最高平均ASR@1を達成し、以前のSOTAマルチターン攻撃者を上回ります。
  • GFlowRLは、従来のFlowRL手法が収束に失敗する235Bパラメータまでのすべての評価済みMixture-of-Experts構成に移行可能です。

このアプローチは、密および疎の両アーキテクチャ全体で安定してスケーリングする初のGFlowNetスタイルの強化学習アルゴリズムであり、支配的なモードへの収縮を防ぎながら多様な推論パスを可能にします。