研究者らは、キュレーションされたデータと計算リソースの制御を通じて言語モデルでテスト時のスケーリングを実現する手法であるs1を紹介した。チームは推論プロセスを含む1,000問の質問からなるs1Kデータセットを作成し、モデルの思考プロセスを延長または終了させることで追加のテスト時計算リソースを管理する「バジェットフォージング」を開発した。

  • s1K上でのQwen2.5-32B-Instructの教師ありファインチューニングにバジェットフォージングを組み合わせることで、モデルは回答を再確認し、しばしば誤った推論ステップを修正できる。
  • 結果として得られたs1-32Bモデルは、MATHおよびAIME24ベンチマークからの競技数学の問題において、OpenAIのo1-previewを最大27%上回る。
  • バジェットフォージングによるs1-32Bのスケーリングにより、ベースラインを超えた性能の補外が可能となり、AIME24でのスコアが50%から57%に改善した。

本研究は、単純なテスト時のスケーリング手法が、o1-previewのようなより複雑なプロプライエタリモデルの推論能力を再現し、上回ることを示している。