Pesquisadores apresentam o s1, um método para alcançar escalonamento no tempo de teste em modelos de linguagem por meio de uma abordagem direta que envolve dados curados e controle de computação. A equipe criou o conjunto de dados s1K com 1.000 perguntas contendo rastros de raciocínio e desenvolveu a técnica de "budget forcing" para gerenciar a computação adicional no tempo de teste, estendendo ou encerrando o processo de pensamento do modelo.
- O ajuste fino supervisionado do Qwen2.5-32B-Instruct no s1K combinado com budget forcing permite que o modelo verifique as respostas, frequentemente corrigindo etapas de raciocínio incorretas.
- O modelo resultante s1-32B supera o o1-preview da OpenAI em até 27% nas perguntas de matemática de competições dos benchmarks MATH e AIME24.
- O escalonamento do s1-32B com budget forcing permite a extrapolação de desempenho além de sua linha de base, melhorando as pontuações no AIME24 de 50% para 57%.
Este trabalho demonstra que técnicas simples de escalonamento no tempo de teste podem replicar e superar as capacidades de raciocínio de modelos proprietários mais complexos como o o1-preview.