O Relatório Técnico do Qwen2 apresenta a série Qwen2, um novo conjunto de modelos de linguagem grande e multimodais fundamentais e ajustados para instruções, variando de 0,5 a 72 bilhões de parâmetros. Este lançamento inclui tanto arquiteturas densas quanto um modelo Mixture-of-Experts, com o principal Qwen2-72B demonstrando desempenho competitivo contra modelos proprietários em vários benchmarks.
- O modelo base Qwen2-72B alcança pontuações de 84,2 no MMLU, 37,9 no GPQA, 64,6 no HumanEval, 89,5 no GSM8K e 82,4 no BBH.
- A variante ajustada para instruções Qwen2-72B-Instruct atinge 9,1 no MT-Bench, 48,1 no Arena-Hard e 35,7 no LiveCodeBench.
- Os modelos suportam aproximadamente 30 idiomas, incluindo inglês, chinês, espanhol, francês, alemão, árabe, russo, coreano, japonês, tailandês e vietnamita.
- Os pesos do modelo estão abertamente disponíveis no Hugging Face e ModelScope, com código suplementar e recursos de implantação fornecidos no GitHub.
Os autores lançam esses pesos para fomentar a inovação e acessibilidade da comunidade, fornecendo recursos para quantização, ajuste fino e implantação para facilitar uma ampla gama de aplicações e esforços de pesquisa.