Qwenは、そのQwen3.5-397B-A17BモデルのFP8量子化重みをリリースしました。このモデルは視覚機能を持つ3970億パラメータの因果言語モデルで、推論ステップごとに170億パラメータのみを活性化します。

このモデルは、ゲート付きデルタネットワークとスパースMixture-of-Expertsを組み合わせたハイブリッドアーキテクチャを利用し、最小限のレイテンシで高スループットの推論を実現します。262,144トークンのネイティブなコンテキスト長をサポートし、最大1,010,000まで拡張可能で、201の言語と方言をカバーしています。

FP8量子化は、ブロックサイズ128の細粒度手法を採用しており、元のモデルとほぼ同等のパフォーマンス指標を維持しつつ、リソース要件を削減しています。