DeepSeek AIは、100万トークンのコンテキストウィンドウと、グローバルキャッシュのフットプリントをトークンあたり890バイトに削減するFP4 KVキャッシュを備えたマルチモーダルMixture-of-ExpertsモデルであるDeepSeek-V4.1-Flashをリリースしました。このモデルは、因果的なエンコーダ・デコーダアーキテクチャとCompressed Sparse Attention 2 (CSA2) を活用し、パフォーマンスを維持しながらメモリ要件を大幅に削減しています。

  • モデルには552Bのバックボーンパラメータ、196BのEngramパラメータがあり、prefill時に8Bのパラメータが活性化され、decode時には16Bが活性化されます。
  • 因果的なエンコーダ・デコーダ構造により、エンコーダの最終隠れ状態からデコーダのグローバルKVを導出することで、prefillの計算量を半減させます。
  • CSA2はレイヤーをFull、Reindex、またはReuseモードに割り当て、メインのKVキャッシュとインデクサインデックスをレイヤー間で共有します。
  • メインのKVキャッシュに対するFP4量子化により、V4のFP8キャッシュと比較してストレージ要件がほぼ半減します。
  • モデルは総パラメータ数の1/3を使用しながら、世界知識とコーディングにおいてDeepSeek-V4-Pro-Baseと同等のパフォーマンスを発揮します。
  • Terminal-Bench 2.1およびDeepSWE v1.1ベンチマークにおいて、Opus-5やGPT-5.6 Solを上回るパフォーマンスを示しています。

オープンウェイトモデルはHugging FaceでMITライセンスの下で提供されており、vLLM、SGLang、Transformersに対応し、低、高、および最大推論ティアの公共APIを提供します。