DeepSeekMathの論文では、数学的推論能力を強化するために設計された7Bパラメータのオープン言語モデルが紹介されています。このモデルは、Common Crawlからの120Bの数学関連トークン、自然言語およびコードデータとともに、DeepSeek-Coder-Base-v1.5の事前トレーニングを継続することで作成されます。

  • DeepSeekMath 7Bは、外部ツールキットや投票技術を使用せずに、競技レベルのMATHベンチマークで51.7%のスコアを獲得しました。
  • MATHベンチマークにおいて、64サンプルでの自己整合性は60.9%に達します。
  • このパフォーマンスは、キュレーションされたデータ選択パイプラインとグループ相対ポリシー最適化（GRPO）によるものです。
  • GRPOは、メモリ使用量を最適化しながら推論を改善する近接ポリシー最適化のバリアントです。

著者らは、このモデルがGemini-UltraやGPT-4などのproprietaryモデルのパフォーマンスレベルに近づいているため、これを重要だと考えています。