Um usuário do Reddit desafia a percepção de que os modelos Mixture of Experts (MoE) são inferiores aos modelos densos simplesmente por terem menos parâmetros ativos, citando o exemplo do Qwen 3.5 122B com apenas 10B ativos.
- O usuário argumenta que se um modelo MoE de 122B fosse equivalente a um modelo denso de 10B, os provedores lançariam a versão densa mais rápida, pois ela evita a sobrecarga de roteamento.
- Eles sugerem que o valor de um modelo MoE depende da eficácia do roteador ao selecionar os especialistas ótimos para ativar todo o seu potencial de parâmetros.
- O post destaca que algumas arquiteturas MoE podem ser mais eficazes que outras, implicando que a comparação é mais matizada do que uma simples contagem de parâmetros ativos.