研究者らは「少ないことは多なり」推論仮説を提案し、大規模言語モデルにおける高度な数学的推論が、大量のデータセットではなく、最小限かつ戦略的に設計された例から出現することを実証しました。単純な教師ありファインチューニングを通じて、彼らのモデル LIMO は AIME24 で 63.3%、MATH500 で 95.6% の精度を達成しました。

  • 以前の手法が必要とする学習データのわずか1%を使用しながら、AIME24 で従来のファインチューニング済みモデルを 6.5%、MATH500 で 59.2% 上回りました。
  • 多様なベンチマークで絶対的に 45.8% の改善を示す強力な分布外汎化性を発揮し、100倍のデータで訓練されたモデルを上回りました。

この知見は、包括的な事前学習知識を持つ基盤モデルにおいて、複雑な推論がその知識ベースの完全性と、認知テンプレートとしてのポストトレーニング例の有効性によって引き出されることを示唆しています。