El informe técnico de Qwen2 presenta la serie Qwen2, un nuevo conjunto de modelos fundacionales y ajustados para instrucciones, de lenguaje grande y multimodales, que van desde 0.5 hasta 72 mil millones de parámetros. Esta versión incluye tanto arquitecturas densas como un modelo Mixture-of-Experts, con el modelo insignia Qwen2-72B demostrando un rendimiento competitivo frente a modelos propietarios en varios benchmarks.

  • El modelo base Qwen2-72B obtiene puntuaciones de 84.2 en MMLU, 37.9 en GPQA, 64.6 en HumanEval, 89.5 en GSM8K y 82.4 en BBH.
  • La variante ajustada para instrucciones Qwen2-72B-Instruct alcanza 9.1 en MT-Bench, 48.1 en Arena-Hard y 35.7 en LiveCodeBench.
  • Los modelos admiten aproximadamente 30 idiomas, incluyendo inglés, chino, español, francés, alemán, árabe, ruso, coreano, japonés, tailandés y vietnamita.
  • Los pesos del modelo están disponibles abiertamente en Hugging Face y ModelScope, con código complementario y recursos de implementación proporcionados en GitHub.

Los autores publican estos pesos para fomentar la innovación y accesibilidad de la comunidad, proporcionando recursos para cuantización, ajuste fino e implementación para facilitar una amplia gama de aplicaciones y esfuerzos de investigación.