Seorang pengguna Reddit menantang sentimen bahwa model Mixture of Experts (MoE) lebih rendah daripada model padat hanya karena memiliki parameter aktif yang lebih sedikit, dengan mengutip contoh Qwen 3.5 122B yang hanya memiliki 10B parameter aktif.
- Pengguna tersebut berargumen bahwa jika model MoE 122B setara dengan model padat 10B, penyedia akan merilis versi padat yang lebih cepat, karena hal itu menghindari overhead routing.
- Mereka menyarankan bahwa nilai model MoE bergantung pada efektivitas router dalam memilih ahli optimal untuk mengaktifkan potensi parameter totalnya.
- Postingan tersebut menyoroti bahwa beberapa arsitektur MoE mungkin lebih efektif daripada yang lain, menyiratkan bahwa perbandingannya lebih rumit daripada sekadar jumlah parameter aktif.