Un utilisateur de Reddit conteste l'idée selon laquelle les modèles Mixture of Experts (MoE) sont inférieurs aux modèles denses simplement parce qu'ils ont moins de paramètres actifs, citant l'exemple de Qwen 3.5 122B n'ayant que 10B de paramètres actifs.
- L'utilisateur fait valoir que si un modèle MoE de 122B était équivalent à un modèle dense de 10B, les fournisseurs publieraient la version dense plus rapide, car elle évite la surcharge de routage.
- Ils suggèrent que la valeur d'un modèle MoE dépend de l'efficacité du routeur à sélectionner les experts optimaux pour activer le potentiel total de ses paramètres.
- Le post souligne que certaines architectures MoE peuvent être plus efficaces que d'autres, impliquant que la comparaison est plus nuancée qu'un simple compte de paramètres actifs.