研究人员推出了 s1，一种通过简单方法实现语言模型测试时扩展的技术，涉及精心策划的数据和计算控制。团队创建了包含 1,000 道题目及推理轨迹的 s1K 数据集，并开发了“预算强制”机制，通过延长或终止模型的思考过程来管理额外的测试时计算资源。
- 在 s1K 上对 Qwen2.5-32B-Instruct 进行监督微调并结合预算强制，使模型能够双重检查答案，经常纠正错误的推理步骤。
- 生成的 s1-32B 模型在 MATH 和 AIME24 基准的竞赛数学问题上，比 OpenAI 的 o1-preview 高出多达 27%。
- 对 s1-32B 使用预算强制进行扩展，使其性能超越基线水平，将 AIME24 的得分从 50% 提升至 57%。
这项工作表明，简单的测试时扩展技术可以复制并超越 o1-preview 等更复杂的专有模型的推理能力。