Los investigadores presentan s1, un método para lograr el escalado en el momento de la prueba en modelos de lenguaje a través de un enfoque directo que implica datos curados y control de cómputo. El equipo creó el conjunto de datos s1K con 1.000 preguntas que incluyen trazos de razonamiento y desarrolló "budget forcing" para gestionar el cómputo adicional en el momento de la prueba extendiendo o terminando el proceso de pensamiento del modelo.
- El ajuste fino supervisado de Qwen2.5-32B-Instruct en s1K combinado con budget forcing permite al modelo verificar las respuestas, corrigiendo a menudo pasos de razonamiento incorrectos.
- El modelo resultante s1-32B supera a o1-preview de OpenAI hasta un 27% en preguntas de matemáticas competitivas de los benchmarks MATH y AIME24.
- Escalar s1-32B con budget forcing permite la extrapolación del rendimiento más allá de su línea base, mejorando las puntuaciones en AIME24 del 50% al 57%.
Este trabajo demuestra que las técnicas simples de escalado en el momento de la prueba pueden replicar y superar las capacidades de razonamiento de modelos propietarios más complejos como o1-preview.