يقدم الباحثون طريقة s1 لتحقيق القياس الزمني للاختبار في نماذج اللغة من خلال نهج مباشر يتضمن بيانات مُعدّة مسبقًا والتحكم في الحوسبة. أنشأ الفريق مجموعة البيانات s1K المكونة من 1,000 سؤال مع مسارات استدلال، وطوّر ما يُعرف بـ "budget forcing" لإدارة موارد الحوسبة الإضافية أثناء الاختبار عن طريق تمديد أو إنهاء عملية تفكير النموذج.
- يسمح الضبط الدقيق الخاضع للإشراف لـ Qwen2.5-32B-Instruct على s1K بالاقتران مع budget forcing للنموذج بمراجعة الإجابات، وغالبًا ما يصحح خطوات الاستدلال غير الصحيحة.
- يتفوق النموذج الناتج s1-32B على o1-preview الخاص بـ OpenAI بنسبة تصل إلى 27% في أسئلة الرياضيات التنافسية من معايير MATH وAIME24.
- يتيح قياس s1-32B باستخدام budget forcing استقراء الأداء بما يتجاوز خط الأساس، مما يحسّن النتائج على AIME24 من 50% إلى 57%.
تُظهر هذه الدراسة أن تقنيات القياس الزمني البسيطة للاختبار يمكنها محاكاة وتجاوز قدرات الاستدلال في نماذج مملوكة أكثر تعقيدًا مثل o1-preview.