Qwen 3.5와 같은 MoE 모델에 대한 비판을 레딧 사용자가 의문시

한 레딧 사용자는 활성화된 파라미터 수가 적다는 이유만으로 Mixture of Experts (MoE) 모델이 밀집형(dense) 모델보다 열등하다는 견해에 이의를 제기하며, Qwen 3.5 122B가 활성화된 파라미터가 단 10B밖에 없다는 예를 인용했다.

• 사용자는 122B MoE 모델이 10B 밀집형 모델과 동등하다면, 라우팅 오버헤드를 피할 수 있으므로 공급업체가 더 빠른 밀집형 버전을 출시할 것이라고 주장한다.
• 그들은 MoE 모델의 가치는 라우터가 총 파라미터 잠재력을 활성화하기 위해 최적의 전문가를 선택하는 효과성에 달려 있다고 제안한다.
• 게시물은 일부 MoE 아키텍처가 다른 것보다 더 효과적일 수 있음을 강조하며, 비교가 단순한 활성화 파라미터 수보다 더 미묘하다고 시사한다.