Un usuario de Reddit desafía la percepción de que los modelos Mixture of Experts (MoE) son inferiores a los modelos densos simplemente porque tienen menos parámetros activos, citando el ejemplo de Qwen 3.5 122B con solo 10B activos.
- El usuario argumenta que si un modelo MoE de 122B fuera equivalente a un modelo denso de 10B, los proveedores lanzarían la versión densa más rápida, ya que evita la sobrecarga de enrutamiento.
- Sugieren que el valor de un modelo MoE depende de la efectividad del enrutador al seleccionar los expertos óptimos para activar todo su potencial de parámetros.
- La publicación destaca que algunas arquitecturas MoE pueden ser más efectivas que otras, lo que implica que la comparación es más matizada que un simple conteo de parámetros activos.