Qwen3 기술 보고서는 0.6억에서 2,350억 파라미터에 이르는 새로운 시리얼의 오픈 가중치 대규모 언어 모델을 소개하며, 여기에는 밀집형(Dense)과 전문가 혼합(Mixture-of-Experts) 아키텍처가 모두 포함됩니다. 주요 혁신은 복잡한 추론을 위한 "사고 모드"와 빠른 응답을 위한 "비사고 모드"를 단일 프레임워크에 통합하여 모델 교체 없이 동적으로 전환할 수 있게 한다는 것입니다.

  • 플래그십 Qwen3-235B-A22B 모델은 성능과 추론 효율성의 균형을 위해 토큰당 220억 개의 활성화된 파라미터를 사용합니다.
  • 다국어 지원은 이전 Qwen 모델이 생성한 합성 데이터를 포함한 36조 개의 토큰으로 학습하여 29개 언어 및 방언에서 119개로 확대되었습니다.
  • 이 시리즈는 추론 중 적응형 컴퓨팅 자원 할당을 위해 "사고 예산(thinking budget)" 메커니즘을 구현했습니다.

저자들은 이러한 진전이 독점 모델과 경쟁력 있는 성능을 제공하면서도 사용자에게 추론 노력과 지연 시간에 대한 세밀한 제어를 가능하게 하기 때문에 중요하다고 평가합니다.