Alibaba ha publicado el informe técnico de Qwen2.5, presentando una serie integral de modelos de lenguaje grandes con mejoras significativas tanto en las etapas de preentrenamiento como de postratamiento. La actualización escala los conjuntos de datos de preentrenamiento de alta calidad de 7 billones a 18 billones de tokens e implementa un ajuste fino supervisado intrincado con más de 1 millón de muestras junto con aprendizaje por refuerzo multietapa.

  • Las ofertas de peso abierto incluyen modelos base y ajustados para instrucciones, con versiones cuantizadas disponibles.
  • Las soluciones propietarias alojadas presentan dos variantes de mezcla de expertos: Qwen2.5-Turbo y Qwen2.5-Plus.
  • El modelo insignia Qwen2.5-72B-Instruct supera a muchos modelos abiertos y propietarios, mostrando un rendimiento competitivo frente a Llama-3-405B-Instruct.
  • Qwen2.5-Turbo y Qwen2.5-Plus ofrecen una relación costo-beneficio superior mientras compiten eficazmente contra GPT-4o-mini y GPT-4o respectivamente.

Estas mejoras proporcionan una base sólida para el sentido común, el conocimiento experto y las capacidades de razonamiento, mientras que las técnicas de postratamiento mejoran notablemente la generación de texto largo, el análisis de datos estructurados y el seguimiento de instrucciones.