DeepSeek는 추론 능력을 향상시키기 위해 강화 학습으로 파인튜닝된 대규모 언어 모델인 DeepSeek-R1을 오픈소스로 공개했습니다. 이 모델은 MATH-500 및 SWE-bench와 같은 벤치마크에서 OpenAI의 o1과 동등한 결과를 달성했습니다.
- 전문가 혼합(Mixture of Experts)인 DeepSeek-V3를 기반으로 하며, 훈련에는 Group Relative Policy Optimization (GRPO)를 사용합니다.
- 팀은 강화 학습 전에 사고 사슬(chain-of-thought) 예제와 함께 지도 파인튜닝을 추가하여 RL의 "콜드 스타트" 문제를 해결했습니다.
- Qwen 및 Llama용 증류 버전이 출시되어 수학 및 코딩 작업에서 GPT-4와 같은 더 큰 모델을 능가했습니다.
- DeepSeek-R1은 출시 직후 LMArena에서 전체 3위를 기록했으며, 코딩 및 수학 카테고리에서 선두를 달렸습니다.
오픈소스 라이선스는 모델 출력을 증류에 사용하는 것을 허용하여 모든 크기의 언어 모델의 기술 발전을 촉진할 잠재력이 있습니다.