DeepSeekは、推論タスクにおいてOpenAI-o1-1217に匹敵するパフォーマンスを実現する初世代の推論モデル、DeepSeek-R1-ZeroとDeepSeek-R1を発表した。DeepSeek-R1-Zeroは教師ありファインチューニングなしで大規模な強化学習によって訓練され、一方DeepSeek-R1は読みやすさを向上させるためにコールドスタートデータを用いたマルチステージパイプラインを使用している。

  • DeepSeek-R1-Zeroは純粋なRLを通じて自己検証や長い思考連鎖の生成といった推論行動を自然に発達させる。
  • DeepSeek-R1はAIME 2024で79.8%のPass@1を達成しOpenAI-o1-1217を上回り、MATH-500では97.3%のスコアを獲得した。
  • チームはQwenおよびLlamaアーキテクチャに基づきDeepSeek-R1から蒸留された6つの密モデル（1.5B〜70B）をオープンソース化した。
  • DeepSeek-R1-Distill-Qwen-32Bのような蒸留モデルは、密モデルの中で新たな記録を樹立し、以前のオープンソース競合製品を上回っている。

今回のリリースにより、研究コミュニティは小規模で強力な推論モデルのさらなる開発を促進するためのオープンソースチェックポイントとAPIを提供された。