NVIDIAのNeMoチームは、研究者によるアルゴリズムの反復処理における複雑さを軽減するために設計されたオープンソースのエージェント型強化学習フレームワークであるMoltをリリースした。コードベースは約8.6K行のRLコードで、verl（62K行）やslime（25K行）などの同等のフレームワークと比べて大幅に小さい。

  • Moltは、Rayによる配置、vLLMによるロールアウト、FSDP2を用いたNVIDIA AutoModelによるトレーニングを、アップストリームのコンポーネントをフォークすることなく構成する。
  • エージェントは、Gymnasium準拠のEnvまたはループバックサーバー経由の標準的なOpenAI/Anthropic SDKのいずれかを使用して、標準的なPythonモジュールとして実装される。
  • このフレームワークは、トークンID、ポリシーバージョンのセマンティクス、前方一貫性という3つの正しさの不変条件を強制し、混合专家モデルに対するロールアウトルーティングのリプレイを含む。
  • 密集型4Bモデルから700B MoEモデルまでスケーリングをサポートし、H100/H200ハードウェアでのデプロイ用にSlurmスクリプトとビルド済みコンテナを搭載して提供される。

Moltは、研究者がコードベース全体を頭の中におくことができる研究インフラストラクチャを提供することを目的としており、推定器やパイプラインステージの修正を容易にする。