arxiv Moonshot AI (arXiv) · há 755 d

Equipe Qwen lança série Qwen2 com modelos densos e MoE de 72B

Traduzido do English → Português (BR)

A equipe Qwen publicou o relatório técnico do Qwen2, apresentando uma nova série de grandes modelos de linguagem com parâmetros variando de 0,5 a 72 bilhões, incluindo tanto arquiteturas densas quanto Mixture-of-Experts (MoE).

O modelo base insignia Qwen2-72B alcança pontuações de 84,2 no MMLU, 89,5 no GSM8K e 64,6 no HumanEval.
A variante Qwen2-72B-Instruct ajustada por instruções atinge 9,1 no MT-Bench e 35,7 no LiveCodeBench.
Os modelos foram treinados com mais de 7 trilhões de tokens e suportam aproximadamente 30 idiomas.
Os pesos estão abertamente disponíveis no Hugging Face e ModelScope para uso da comunidade.

O lançamento visa fornecer modelos fundamentais de alto desempenho que competem com sistemas proprietários, permanecendo acessíveis para pesquisa e implantação.

Importância 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Benchmarks

Benchmark	Modelo	Pontuação
GPQA Diamond	Qwen2-72B	37.9%
LiveCodeBench	Qwen2-72B-Instruct	35.7%
GSM8K	Qwen2-72B	89.5%
MMLU	Qwen2-72B	84.2%
BIG-Bench Hard	Qwen2-72B	82.4%
HumanEval	Qwen2-72B	64.6%

Ler original

Qwen3 introduz modo de raciocínio unificado e amplia suporte multilíngue para 119 idiomas

O Relatório Técnico do Qwen3 apresenta a versão mais recente da família de modelos Qwen, com arquiteturas densas e Mixture-of-Expert (MoE) e escalas de parâmetros de 0,6 a 235 bilhões. Uma inovação chave é a integração do modo de raciocínio para raciocínio complexo e do modo sem raciocínio para respostas rápidas em um framework unificado, eliminando a necessidade de alternar entre diferentes modelos.

arxiv Moonshot AI (arXiv) · há 452 d · 2 visualizações

Qwen3 introduz modo unificado de raciocínio e suporte a 119 idiomas

O Relatório Técnico do Qwen3 apresenta uma nova série de modelos de linguagem grandes (LLMs) de pesos abertos, variando de 0,6 a 235 bilhões de parâmetros, com arquiteturas densas e Mixture-of-Experts. Uma inovação chave é a integração do "modo de raciocínio" para raciocínio complexo e do "modo sem raciocínio" para respostas rápidas em um único framework, permitindo alternância dinâmica sem troca de modelo.

arxiv Moonshot AI (arXiv) · há 598 d

Qwen2.5 introduz modelos densos e MoE com 18T de tokens de pré-treinamento

O Relatório Técnico do Qwen2.5 detalha o lançamento de uma série abrangente de modelos de linguagem grandes, incluindo variantes densas de peso aberto e modelos proprietários de mistura de especialistas (MoE). A atualização escala significativamente os dados de pré-treinamento de 7 trilhões para 18 trilhões de tokens e emprega mais de 1 milhão de amostras para o pós-treinamento por meio de ajuste fino supervisionado e aprendizado por reforço.

arxiv Moonshot AI (arXiv) · há 598 d

Qwen2.5 escala o pré-treinamento para 18 trilhões de tokens e usa RL multietapas

A Alibaba lançou o relatório técnico do Qwen2.5, apresentando uma série abrangente de modelos de linguagem grandes com melhorias significativas tanto nas etapas de pré-treinamento quanto de pós-treinamento. A atualização escala conjuntos de dados de pré-treinamento de alta qualidade de 7 trilhões para 18 trilhões de tokens e implementa ajuste fino supervisionado intricado com mais de 1 milhão de amostras junto com aprendizado por reforço multietapas.

arxiv Moonshot AI (arXiv) · há 755 d

Relatório Técnico do Qwen2 apresenta modelos densos e MoE até 72B

O Relatório Técnico do Qwen2 apresenta a série Qwen2, um novo conjunto de modelos de linguagem grande e multimodais fundamentais e ajustados para instruções, variando de 0,5 a 72 bilhões de parâmetros. Este lançamento inclui tanto arquiteturas densas quanto um modelo Mixture-of-Experts, com o principal Qwen2-72B demonstrando desempenho competitivo contra modelos proprietários em vários benchmarks.