アリババのQwenチームは、今後のQwen4シリーズのアーキテクチャをプレビューするために設計されたオープンウェイトのマルチモーダルMixture-of-ExpertsモデルであるQwen3.8-Flash-Nextをリリースしました。このチェックポイントは、125Bのバックボーンと51BのN-gram埋め込みテーブル、および4Bのマルチトークン予測モジュールを組み合わせており、トークンごとに6Bのパラメータのみがアクティブになります。

  • アーキテクチャ: 4層のうち3層にGated DeltaNet（線形注意機構）を使用し、1層にQwen Sparse Attentionを採用。さらにGated ResidualストリームとMuonオプティマイザを併用しています。
  • ベンチマーク: DeepSWE 1.1で58.7、SWE-bench Proで62.5、LiveCodeBench v6で91.9、MathVision（コードインタープリタ付き）で95.7を達成。
  • 効率性: Qwen3.7-Plusと比較してトレーニングコストは約9分の1。サービングでは、高いプレフィックスキャッシュヒット率において最大10.2倍のprefillスループット向上を示しています。
  • コンテキストとストレージ: 262,144トークンをネイティブでサポート（YaRNにより1Mまで拡張可能）。FP8チェックポイントは172.78 GiBで、マルチGPUデプロイメントが必要です。

このモデルはQwen4の初期アーキテクチャプレビューとして機能し、コーディングおよび推論ベンチマークでの競争力を維持しつつ、大幅なコスト削減と速度向上を提供します。