Les chercheurs présentent s1, une méthode permettant d'atteindre la mise à l'échelle au moment du test dans les modèles de langage via une approche directe impliquant des données curatées et un contrôle du calcul. L'équipe a créé le jeu de données s1K composé de 1 000 questions avec des traces de raisonnement et a développé la « contrainte de budget » pour gérer le calcul supplémentaire au moment du test en prolongeant ou en terminant le processus de réflexion du modèle.
- Le réglage fin supervisé de Qwen2.5-32B-Instruct sur s1K combiné à la contrainte de budget permet au modèle de vérifier les réponses, corrigeant souvent les étapes de raisonnement incorrectes.
- Le modèle résultant s1-32B dépasse o1-preview d'OpenAI jusqu'à 27 % sur les questions de mathématiques de compétition des benchmarks MATH et AIME24.
- La mise à l'échelle de s1-32B avec la contrainte de budget permet une extrapolation des performances au-delà de sa ligne de base, améliorant les scores sur AIME24 de 50 % à 57 %.
Ce travail démontre que des techniques simples de mise à l'échelle au moment du test peuvent reproduire et surpasser les capacités de raisonnement de modèles propriétaires plus complexes comme o1-preview.