研究者らは、Claude CodeやOpenClawといった複雑な推論ハーネスを用いてAIエージェントのエンドツーエンド学習を可能にするオープンソースフレームワークであるOpenForgeRLを発表した。本システムは、モデル呼び出しをデータとして記録する軽量プロキシと、リモートコンテナの展開を管理するKubernetesオーケストレーターを活用することで、学習と推論を分離している。

  • OpenForgeRLは、ツールベースエージェントやマルチモーダルGUIブラウザエージェントを含む多様な環境をサポートする。
  • OpenForgeClawは、わずか数百から数千タスクのみを用いて、ClawEvalで31.7 pass^3、QwenClawBenchで33.7を達成した。
  • OpenForgeGUIは、OSWorld-Verifiedで37.7、Online-Mind2Webで63.0、WebVoyagerで72.3を達成した。
  • 両方のバリアントは、同規模のオープンベースラインを上回り、GUI設定ではより大規模なモデルと同等かそれ以上の性能を示した。
  • 分析の結果、ハーネスの選択が学習難易度に大きな影響を与えることが明らかになり、強化学習（RL）が自己検証などの信頼性指標を向上させることが示された。

本フレームワークにより、研究者はエージェントが展開される実際のハーネスおよび環境内で直接エージェントの学習、研究、改善を行うことができる。