O Relatório Técnico do Qwen3 apresenta uma nova série de modelos de linguagem grandes (LLMs) de pesos abertos, variando de 0,6 a 235 bilhões de parâmetros, com arquiteturas densas e Mixture-of-Experts. Uma inovação chave é a integração do "modo de raciocínio" para raciocínio complexo e do "modo sem raciocínio" para respostas rápidas em um único framework, permitindo alternância dinâmica sem troca de modelo.

  • O modelo principal Qwen3-235B-A22B utiliza 22 bilhões de parâmetros ativados por token para equilibrar desempenho e eficiência de inferência.
  • O suporte multilíngue expande-se de 29 para 119 idiomas e dialetos, treinado em 36 trilhões de tokens, incluindo dados sintéticos gerados pelos modelos Qwen anteriores.
  • A série implementa um mecanismo de "orçamento de raciocínio" para alocação adaptativa de recursos computacionais durante a inferência.
  • O pós-treinamento emprega aprendizado por reforço em múltiplos estágios e destilação forte-fraca para alinhar os modelos às preferências humanas.

Os autores consideram esses avanços importantes porque permitem desempenho competitivo contra modelos proprietários, ao mesmo tempo que fornecem aos usuários controle fino sobre o esforço de raciocínio e a latência.