arxiv Moonshot AI (arXiv) · há 598 d

Qwen2.5 introduz modelos densos e MoE com 18T de tokens de pré-treinamento

Traduzido do English → Português (BR)

O Relatório Técnico do Qwen2.5 detalha o lançamento de uma série abrangente de modelos de linguagem grandes, incluindo variantes densas de peso aberto e modelos proprietários de mistura de especialistas (MoE). A atualização escala significativamente os dados de pré-treinamento de 7 trilhões para 18 trilhões de tokens e emprega mais de 1 milhão de amostras para o pós-treinamento por meio de ajuste fino supervisionado e aprendizado por reforço.

Modelos densos de peso aberto estão disponíveis nos tamanhos de 0,5B, 1,5B, 3B, 7B, 14B, 32B e 72B parâmetros.
Os modelos MoE proprietários Qwen2.5-Turbo e Qwen2.5-Plus estão disponíveis via Alibaba Cloud Model Studio.
O modelo principal Qwen2.5-72B-Instruct iguala o desempenho do Llama-3-405B-Instruct, apesar de ser cinco vezes menor.
O suporte ao comprimento do contexto aumenta de 2K para 8K tokens, com o Qwen2.5-Turbo suportando até 1 milhão de tokens.

Essas melhorias visam fornecer soluções economicamente viáveis para diversos casos de uso, mantendo desempenho de alto nível em benchmarks de raciocínio, codificação e matemática.

Importância 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Artigos relacionados

arxiv Moonshot AI (arXiv) · há 452 d

Qwen3 introduz modo de raciocínio unificado e amplia suporte multilíngue para 119 idiomas

O Relatório Técnico do Qwen3 apresenta a versão mais recente da família de modelos Qwen, com arquiteturas densas e Mixture-of-Expert (MoE) e escalas de parâmetros de 0,6 a 235 bilhões. Uma inovação chave é a integração do modo de raciocínio para raciocínio complexo e do modo sem raciocínio para respostas rápidas em um framework unificado, eliminando a necessidade de alternar entre diferentes modelos.

arxiv Moonshot AI (arXiv) · há 452 d · 2 visualizações

Qwen3 introduz modo unificado de raciocínio e suporte a 119 idiomas

O Relatório Técnico do Qwen3 apresenta uma nova série de modelos de linguagem grandes (LLMs) de pesos abertos, variando de 0,6 a 235 bilhões de parâmetros, com arquiteturas densas e Mixture-of-Experts. Uma inovação chave é a integração do "modo de raciocínio" para raciocínio complexo e do "modo sem raciocínio" para respostas rápidas em um único framework, permitindo alternância dinâmica sem troca de modelo.

arxiv Moonshot AI (arXiv) · há 598 d

Qwen2.5 escala o pré-treinamento para 18 trilhões de tokens e usa RL multietapas

A Alibaba lançou o relatório técnico do Qwen2.5, apresentando uma série abrangente de modelos de linguagem grandes com melhorias significativas tanto nas etapas de pré-treinamento quanto de pós-treinamento. A atualização escala conjuntos de dados de pré-treinamento de alta qualidade de 7 trilhões para 18 trilhões de tokens e implementa ajuste fino supervisionado intricado com mais de 1 milhão de amostras junto com aprendizado por reforço multietapas.

arxiv Moonshot AI (arXiv) · há 755 d

Equipe Qwen lança série Qwen2 com modelos densos e MoE de 72B

A equipe Qwen publicou o relatório técnico do Qwen2, apresentando uma nova série de grandes modelos de linguagem com parâmetros variando de 0,5 a 72 bilhões, incluindo tanto arquiteturas densas quanto Mixture-of-Experts (MoE).

arxiv Moonshot AI (arXiv) · há 755 d

Relatório Técnico do Qwen2 apresenta modelos densos e MoE até 72B

O Relatório Técnico do Qwen2 apresenta a série Qwen2, um novo conjunto de modelos de linguagem grande e multimodais fundamentais e ajustados para instruções, variando de 0,5 a 72 bilhões de parâmetros. Este lançamento inclui tanto arquiteturas densas quanto um modelo Mixture-of-Experts, com o principal Qwen2-72B demonstrando desempenho competitivo contra modelos proprietários em vários benchmarks.