연구진은 큐레이티드 데이터와 컴퓨팅 제어를 포함한 단순한 접근 방식을 통해 언어 모델에서 테스트 타임 스케일링을 달성하는 방법인 s1을 소개합니다. 연구팀은 추론 트레이스를 포함하는 1,000개의 질문으로 구성된 s1K 데이터셋을 생성하고, 모델의 사고 과정을 확장하거나 종료함으로써 추가 테스트 타임 컴퓨팅을 관리하기 위한 "버짓 포싱"을 개발했습니다.

  • s1K에서 Qwen2.5-32B-Instruct에 대한 지도 미세 조정과 버짓 포싱을 결합하면 모델이 답을 이중 확인하여 종종 잘못된 추론 단계를 수정합니다.
  • 결과적으로 생성된 s1-32B 모델은 MATH 및 AIME24 벤치마크의 경쟁 수학 질문에서 OpenAI의 o1-preview보다 최대 27% 높은 성능을 보입니다.
  • 버짓 포싱과 함께 s1-32B를 스케일링하면 기본값을 넘어선 성능 외삽이 가능해져, AIME24에서의 점수가 50%에서 57%로 향상됩니다.

이 연구는 간단한 테스트 타임 스케일링 기법이 o1-preview와 같은 더 복잡한 독점 모델의 추론 능력을 복제하고 초과할 수 있음을 보여줍니다.