Simple Scalingラボは、s1-32Bを発表しました。これは、厳選された1,000件のサンプルからなるデータセットに対する教師ありファインチューニングと「予算強制（budget forcing）」と呼ばれる手法によって強力なパフォーマンスを実現する推論モデルです。このアプローチは、モデルの思考プロセスを終了させるか、「Wait」を追加して延長することでテスト時の計算量を制御し、モデルが回答を再確認できるようにします。

  • s1Kデータセットには、GoogleのGemini Thinking Experimentalモデルから蒸留された推論トレースとペアになった1,000件の質問が含まれており、難易度、多様性、品質に基づいて選択されています。
  • 予算強制によりテスト時の計算量を精密に制御できます。思考終了トークンを抑制し「Wait」を追加することで、解決策の経路に対するさらなる探索が促されます。
  • s1-32Bは、MATHおよびAIME24ベンチマークにおいて、OpenAIのo1-previewを最大27%上回る競争数学の問題で優れた性能を示しています。
  • テスト時の計算量をスケーリングすることで、モデルのパフォーマンスをAIME24で50%から57%に拡張できます。

著者たちは、単純な教師ありファインチューニングと思考時間の直接的な制御を組み合わせることが、テスト時のスケーリングと強力な推論能力を実現するための非常に効果的でサンプル効率的な手法であることを実証しています。