Qwen3.6-35B-A3B와 밀집 Qwen3.6-27B를 실행하는 한 개발자는, 영어 기술 텍스트와 코드에만 집중하는 사용자에게 다국어 가중치가 VRAM을 낭비한다고 주장합니다.

  • 저자는 밀집 모델이 전체 16~20GB 가중치 파일을 로드해야 하며, 8GB 또는 12GB GPU와 같은 제한된 하드웨어를 가진 사용자를 배제한다고 지적합니다.
  • 그들은 두 가지 잠재적 해결책을 제안합니다: 다국어 데이터 없이 처음부터 새 모델을 훈련하거나, 기존 모델을 프루닝하여 사후에 비영어권 용량을 제거하는 것입니다.
  • 저자는 DeepSeek-R1 및 OpenAI o1과 같은 추론 모델에 대한 연구를 참조하며, 복잡한 작업에 대한 실행 정확도가 단순한 벤치마크와 비교해 낮다는 점을 언급합니다.

핵심 우려는 소비자 하드웨어에서 더 나은 코딩 성능을 위해 VRAM을 확보하기 위해 다국어 가중치를 기술적으로 제거할 수 있는지 여부입니다.