Пользователь Reddit оспаривает мнение о том, что модели Mixture of Experts (MoE) уступают плотным моделям лишь потому, что имеют меньше активных параметров, приводя в пример Qwen 3.5 122B, где активно только 10B.

  • Пользователь утверждает, что если бы модель MoE на 122B была эквивалентна плотной модели на 10B, провайдеры выпустили бы более быструю плотную версию, так как она избегает накладных расходов на маршрутизацию.
  • Они предполагают, что ценность модели MoE зависит от эффективности роутера в выборе оптимальных экспертов для активации всего потенциала её параметров.
  • В посте отмечается, что некоторые архитектуры MoE могут быть более эффективными, чем другие, что подразумевает: сравнение сложнее, чем просто подсчёт активных параметров.