Исследователи представляют s1 — метод достижения масштабирования во время тестирования для языковых моделей посредством простого подхода, включающего курируемые данные и контроль вычислений. Команда создала датасет s1K из 1000 вопросов с цепочками рассуждений и разработала «принудительное ограничение бюджета» (budget forcing) для управления дополнительными вычислениями во время тестирования за счёт продления или завершения процесса мышления модели.
- Сверхвизуальное дообучение Qwen2.5-32B-Instruct на s1K в сочетании с budget forcing позволяет модели перепроверять ответы, часто исправляя неверные шаги рассуждения.
- Полученная модель s1-32B превосходит o1-preview от OpenAI на величину до 27% на вопросах по соревновательной математике из бенчмарков MATH и AIME24.
- Масштабирование s1-32B с помощью budget forcing позволяет экстраполировать производительность за пределы базового уровня, улучшая результаты на AIME24 с 50% до 57%.
Эта работа демонстрирует, что простые техники масштабирования во время тестирования могут воспроизводить и превосходить способности к рассуждению более сложных проприетарных моделей, таких как o1-preview.