DeepSeek-AIは、長文コンテキストのトレーニングと推論の効率を向上させるためにDeepSeek Sparse Attention (DSA)を導入した実験的モデルであるDeepSeek-V3.2-Expをリリースしました。

  • このモデルは、初めて細粒度スパースアテンションを実装することでV3.1-Terminusを基盤としています。
  • 計算効率の最適化を図りながら、公開ベンチマークにおいてV3.1-Terminusと同等のパフォーマンスを維持しています。
  • 2025.11.17のアップデートにより、パフォーマンス低下を引き起こす可能性のあるインデクサモジュールのRotary Position Embeddingの不整合が解消されました。
  • このモデルはMITライセンスの下で提供され、vLLMとSGLangのDockerイメージに対してday-0サポートを提供しています。

このリリースにより、研究者は拡張されたテキストシーケンスに焦点を当てたトランスフォーマーアーキテクチャの最適化を検証できます。