Peneliti memperkenalkan s1, sebuah metode untuk mencapai penskalaan waktu uji pada model bahasa melalui pendekatan langsung yang melibatkan data terkurasi dan kontrol komputasi. Tim membuat dataset s1K berisi 1.000 pertanyaan dengan jejak penalaran dan mengembangkan "budget forcing" untuk mengelola komputasi tambahan saat waktu uji dengan memperpanjang atau mengakhiri proses berpikir model.
- Fine-tuning terawasi pada Qwen2.5-32B-Instruct di s1K yang dikombinasikan dengan budget forcing memungkinkan model memeriksa ulang jawaban, sering kali memperbaiki langkah penalaran yang salah.
- Model s1-32B hasil akhirnya melampaui o1-preview dari OpenAI hingga 27% pada pertanyaan matematika kompetisi dari benchmark MATH dan AIME24.
- Penskalaan s1-32B dengan budget forcing memungkinkan ekstrapolasi kinerja di luar basisnya, meningkatkan skor pada AIME24 dari 50% menjadi 57%.
Karya ini menunjukkan bahwa teknik penskalaan waktu uji yang sederhana dapat meniru dan melampaui kemampuan penalaran model proprietari yang lebih kompleks seperti o1-preview.