DeepSeek는 추론 작업에서 OpenAI-o1-1217에 버금가는 성능을 달성하는 첫 세대 추론 모델인 DeepSeek-R1-Zero와 DeepSeek-R1을 소개합니다. DeepSeek-R1-Zero는 지도 미세 조정 없이 대규모 강화학습을 통해 훈련되며, DeepSeek-R1은 가독성을 개선하기 위해 초기 데이터가 포함된 다단계 파이프라인을 사용합니다.

  • DeepSeek-R1-Zero는 순수 RL을 통해 자기 검증 및 긴 사고 과정 생성과 같은 추론 행동을 자연스럽게 발전시킵니다.
  • DeepSeek-R1은 AIME 2024에서 Pass@1 기준 79.8%를 달성해 OpenAI-o1-1217을 앞섰으며, MATH-500에서는 97.3%의 점수를 기록했습니다.
  • 연구진은 Qwen 및 Llama 아키텍처를 기반으로 DeepSeek-R1에서 증류된 6개의 밀집 모델(1.5B부터 70B까지)을 오픈소스로 공개합니다.
  • DeepSeek-R1-Distill-Qwen-32B와 같은 증류 모델은 기존 오픈소스 경쟁자를 능가하며 밀집 모델 중 새로운 기록을 세웠습니다.

이번 출시로 연구 커뮤니티는 더 작고 강력한 추론 모델의 추가 개발을 촉진하기 위해 오픈소스 체크포인트와 API를 얻게 됩니다.