Qwen a publié les poids quantisés en FP8 de son modèle Qwen3.5-397B-A17B, un modèle de langage causal de 397 milliards de paramètres avec des capacités visuelles qui n'active que 17 milliards de paramètres par étape d'inférence.
Le modèle utilise une architecture hybride combinant les Gated Delta Networks et le Mixture-of-Experts sparse pour offrir une inférence à haut débit avec une latence minimale. Il prend en charge des longueurs de contexte natives de 262 144 tokens, extensibles jusqu'à 1 010 000, et couvre 201 langues et dialectes.
La quantification FP8 emploie une méthode fine avec une taille de bloc de 128, maintenant des métriques de performance quasi identiques au modèle original tout en réduisant les exigences en ressources.