TRL v1.14は、AsyncGRPOTrainerにLoRAサポートを導入し、低ランク適応アダプタのトレーニングと、その小さなファイルのみをvLLM推論ワーカーへの同期を可能にします。このアーキテクチャは、共有ストレージバケットをファイルシステムブリッジとして使用することで、別々のマシン上のトレーニングジョブと生成ジョブを分離し、ノード間のNCCLや直接ネットワーク通信の必要性を排除します。

  • ランク1のアダプタは数メガバイトしかなく、NCCL経由ではなくマウントされたストレージバケットを通じて転送できます。
  • トレーナーとvLLMレプリカは、異なるマシン上で別々のHugging Faceジョブとして実行されます。
  • プロキシサーバーが認証ヘッダーを追加し、関連するKVプレフィックスを持つレプリカにロールアウトをルーティングすると同時に、アダプタの更新をブロードキャストします。
  • 5回のランにより、500ステップのトレーニング時間が3時間27分から53分に短縮されました。

このセットアップにより、AsyncGRPOTrainerはノードがローカルディスクを共有したりNCCLグループを形成したりできない分散環境で効果的に動作し、強化学習ワークフローを大幅に加速します。