研究者らはRing-Zeroを発表しました。これは、検証可能な報酬を持つ強化学習を1兆パラメータのモデルにスケーリングする安定したトレーニングパイプラインであり、単純なスケーリングで見られるトークンの冗長性や読み取りにくさなどの問題に対処します。
このシステムは、クリップドインポートンスサンプリングと混合精度制御などのアルゴリズム最適化を組み込んでいます。7つの数学的ベンチマークでの実験により、モデルが競争力のあるパフォーマンスを達成しつつ、自己検証や並列推論などの高度な認知行動を自発的に発達させていることが示されました。
構造化された評価フレームワークは、理解可能で再現性があり効率的な推論トレースの生成におけるモデルの優位性を示し、1Tパラメータへのスケーリングがサンプル効率とパフォーマンスの上限を向上させることを検証しています。