arxiv Moonshot AI (arXiv) · há 598 d

Qwen2.5 escala o pré-treinamento para 18 trilhões de tokens e usa RL multietapas

Traduzido do English → Português (BR)

A Alibaba lançou o relatório técnico do Qwen2.5, apresentando uma série abrangente de modelos de linguagem grandes com melhorias significativas tanto nas etapas de pré-treinamento quanto de pós-treinamento. A atualização escala conjuntos de dados de pré-treinamento de alta qualidade de 7 trilhões para 18 trilhões de tokens e implementa ajuste fino supervisionado intricado com mais de 1 milhão de amostras junto com aprendizado por reforço multietapas.

Ofertas de peso aberto incluem modelos base e ajustados para instruções, com versões quantizadas disponíveis.
Soluções proprietárias hospedadas apresentam duas variantes de mistura de especialistas: Qwen2.5-Turbo e Qwen2.5-Plus.
O modelo principal Qwen2.5-72B-Instruct supera muitos modelos abertos e proprietários, mostrando desempenho competitivo em relação ao Llama-3-405B-Instruct.
Qwen2.5-Turbo e Qwen2.5-Plus oferecem superior custo-benefício enquanto performam competitivamente contra GPT-4o-mini e GPT-4o respectivamente.

Essas melhorias fornecem uma base sólida para senso comum, conhecimento especializado e capacidades de raciocínio, enquanto técnicas de pós-treinamento melhoram notavelmente a geração de texto longo, análise de dados estruturados e seguimento de instruções.

Importância 2/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Artigos relacionados

arxiv Moonshot AI (arXiv) · há 452 d

Qwen3 introduz modo de raciocínio unificado e amplia suporte multilíngue para 119 idiomas

O Relatório Técnico do Qwen3 apresenta a versão mais recente da família de modelos Qwen, com arquiteturas densas e Mixture-of-Expert (MoE) e escalas de parâmetros de 0,6 a 235 bilhões. Uma inovação chave é a integração do modo de raciocínio para raciocínio complexo e do modo sem raciocínio para respostas rápidas em um framework unificado, eliminando a necessidade de alternar entre diferentes modelos.

arxiv Moonshot AI (arXiv) · há 452 d · 2 visualizações

Qwen3 introduz modo unificado de raciocínio e suporte a 119 idiomas

O Relatório Técnico do Qwen3 apresenta uma nova série de modelos de linguagem grandes (LLMs) de pesos abertos, variando de 0,6 a 235 bilhões de parâmetros, com arquiteturas densas e Mixture-of-Experts. Uma inovação chave é a integração do "modo de raciocínio" para raciocínio complexo e do "modo sem raciocínio" para respostas rápidas em um único framework, permitindo alternância dinâmica sem troca de modelo.

arxiv Moonshot AI (arXiv) · há 598 d

Qwen2.5 introduz modelos densos e MoE com 18T de tokens de pré-treinamento

O Relatório Técnico do Qwen2.5 detalha o lançamento de uma série abrangente de modelos de linguagem grandes, incluindo variantes densas de peso aberto e modelos proprietários de mistura de especialistas (MoE). A atualização escala significativamente os dados de pré-treinamento de 7 trilhões para 18 trilhões de tokens e emprega mais de 1 milhão de amostras para o pós-treinamento por meio de ajuste fino supervisionado e aprendizado por reforço.

arxiv Moonshot AI (arXiv) · há 755 d

Equipe Qwen lança série Qwen2 com modelos densos e MoE de 72B

A equipe Qwen publicou o relatório técnico do Qwen2, apresentando uma nova série de grandes modelos de linguagem com parâmetros variando de 0,5 a 72 bilhões, incluindo tanto arquiteturas densas quanto Mixture-of-Experts (MoE).

arxiv Moonshot AI (arXiv) · há 755 d

Relatório Técnico do Qwen2 apresenta modelos densos e MoE até 72B

O Relatório Técnico do Qwen2 apresenta a série Qwen2, um novo conjunto de modelos de linguagem grande e multimodais fundamentais e ajustados para instruções, variando de 0,5 a 72 bilhões de parâmetros. Este lançamento inclui tanto arquiteturas densas quanto um modelo Mixture-of-Experts, com o principal Qwen2-72B demonstrando desempenho competitivo contra modelos proprietários em vários benchmarks.