研究人员提出了“少即是多”推理假设，证明大型语言模型中的复杂数学推理可以通过少量经过精心设计的示例涌现出来，而非依赖海量数据集。通过简单的监督微调，其模型 LIMO 在 AIME24 上达到 63.3% 的准确率，在 MATH500 上达到 95.6%。

  • 仅使用先前方法所需训练数据的 1%，便在 AIME24 上超越此前微调模型 6.5%，在 MATH500 上超越 59.2%。
  • 展现出强大的分布外泛化能力，在多个基准测试中绝对提升 45.8%，优于使用多 100 倍数据训练的模型。

研究结果表明，在拥有全面预训练知识的基础模型中，复杂的推理是由该知识库的完整性以及后训练示例作为认知模板的有效性所激发的。