El equipo de Qwen ha presentado la serie Qwen2.5-Coder, un nuevo conjunto de modelos de lenguaje específicos para código derivados de la arquitectura Qwen2.5. La serie incluye seis tamaños de modelo que van desde 0.5B hasta 32B parámetros y está entrenada con más de 5.5 billones de tokens de código fuente limpiado y datos sintéticos.

  • Los modelos logran un rendimiento de estado del arte en más de 10 benchmarks para generación, finalización, razonamiento y reparación de código.
  • Qwen2.5-Coder-32B-Instruct iguala las capacidades de codificación de GPT-4o mientras conserva fuertes habilidades generales y matemáticas.
  • La arquitectura incorpora tokens especiales para soportar operaciones Fill-in-the-Middle (FIM) y gestión de contexto a nivel de repositorio.
  • El lanzamiento incluye una licencia permisiva para facilitar una adopción más amplia por parte de los desarrolladores.

Los autores buscan avanzar en la investigación de la inteligencia del código y apoyar aplicaciones del mundo real a través de estos modelos de código abierto.