arxiv Moonshot AI (arXiv) · hace 755 d

El equipo de Qwen lanza la serie Qwen2 con modelos densos y MoE de 72B

Traducido del English → Español

El equipo de Qwen ha publicado el informe técnico de Qwen2, presentando una nueva serie de modelos de lenguaje grandes que van desde 0.5 hasta 72 mil millones de parámetros, incluyendo tanto arquitecturas densas como Mixture-of-Experts (MoE).

El modelo base insignia Qwen2-72B obtiene puntuaciones de 84.2 en MMLU, 89.5 en GSM8K y 64.6 en HumanEval.
La variante Qwen2-72B-Instruct ajustada con instrucciones alcanza 9.1 en MT-Bench y 35.7 en LiveCodeBench.
Los modelos se entrenaron con más de 7 billones de tokens y soportan aproximadamente 30 idiomas.
Los pesos están disponibles abiertamente en Hugging Face y ModelScope para uso de la comunidad.

El lanzamiento tiene como objetivo proporcionar modelos fundamentales de alto rendimiento que compitan con sistemas propietarios, manteniéndose accesibles para investigación y despliegue.

Importancia 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Benchmarks

Benchmark	Modelo	Puntuación
GPQA Diamond	Qwen2-72B	37.9%
LiveCodeBench	Qwen2-72B-Instruct	35.7%
GSM8K	Qwen2-72B	89.5%
MMLU	Qwen2-72B	84.2%
BIG-Bench Hard	Qwen2-72B	82.4%
HumanEval	Qwen2-72B	64.6%

Leer original

Cabeza de difusión Orthrus entrenada en modelos Qwen 3.5/3.6 y Gemma 4 que se lanzarán pronto

El proyecto Orthrus está preparando el lanzamiento del soporte para los modelos Qwen 3.5, Qwen 3.6 y Gemma 4 utilizando un enfoque de cabeza de difusión. El equipo ha finalizado las pruebas y actualmente está configurando la canalización de lanzamiento.

arxiv Moonshot AI (arXiv) · hace 452 d

Qwen3 introduce un modo de pensamiento unificado y amplía el soporte multilingüe a 119 idiomas

El Informe Técnico de Qwen3 presenta la última versión de la familia de modelos Qwen, con arquitecturas densas y de Mezcla de Expertos (MoE) con escalas de parámetros desde 0.6 hasta 235 mil millones. Una innovación clave es la integración del modo de pensamiento para razonamiento complejo y el modo sin pensamiento para respuestas rápidas en un marco unificado, eliminando la necesidad de cambiar entre diferentes modelos.

arxiv Moonshot AI (arXiv) · hace 452 d · 2 vistas

Qwen3 introduce un modo de pensamiento unificado y soporte para 119 idiomas

El Informe Técnico de Qwen3 presenta una nueva serie de modelos de lenguaje grandes de peso abierto que van desde 0.6 hasta 235 mil millones de parámetros, con arquitecturas tanto densas como de Mezcla de Expertos. Una innovación clave es la integración del "modo de pensamiento" para razonamiento complejo y el "modo sin pensamiento" para respuestas rápidas en un solo marco, permitiendo un cambio dinámico sin alternar entre modelos.

arxiv Moonshot AI (arXiv) · hace 598 d

Qwen2.5 introduce modelos densos y MoE con 18T de tokens de preentrenamiento

El Informe Técnico de Qwen2.5 detalla el lanzamiento de una serie integral de modelos de lenguaje grandes que incluye variantes densas de peso abierto y modelos propietarios de mezcla de expertos (MoE). La actualización escala significativamente los datos de preentrenamiento de 7 mil millones a 18 mil millones de tokens y emplea más de 1 millón de muestras para el entrenamiento posterior mediante ajuste fino supervisado y aprendizaje por refuerzo.

arxiv Moonshot AI (arXiv) · hace 598 d

Qwen2.5 escala el preentrenamiento a 18 billones de tokens y utiliza RL multietapa

Alibaba ha publicado el informe técnico de Qwen2.5, presentando una serie integral de modelos de lenguaje grandes con mejoras significativas tanto en las etapas de preentrenamiento como de postratamiento. La actualización escala los conjuntos de datos de preentrenamiento de alta calidad de 7 billones a 18 billones de tokens e implementa un ajuste fino supervisado intrincado con más de 1 millón de muestras junto con aprendizaje por refuerzo multietapa.