arxiv Moonshot AI (arXiv) · hace 635 d

DeepSeek-V3: modelo MoE de 671B con equilibrio sin pérdida auxiliar

Traducido del English → Español

DeepSeek-AI presenta DeepSeek-V3, un potente modelo de lenguaje Mixture-of-Experts con 671B parámetros totales y 37B activados por token. El modelo adopta las arquitecturas Multi-head Latent Attention y DeepSeekMoE para lograr inferencia eficiente y entrenamiento rentable.

DeepSeek-V3 introduce una estrategia sin pérdida auxiliar para el equilibrio de carga con el fin de minimizar la degradación del rendimiento.
Emplea un objetivo de entrenamiento de predicción multi-token para mejorar el rendimiento general en benchmarks.
El equipo valida por primera vez el entrenamiento de precisión mixta FP8 en un modelo a escala extremadamente grande.
El entrenamiento utilizó 14.8 billones de tokens y costó solo 2.788M horas de GPU H800, totalizando aproximadamente $5.576 millones.
Las evaluaciones muestran que supera a otros modelos de código abierto e iguala a los principales modelos cerrados como GPT-4o y Claude-3.5-Sonnet.

El informe enfatiza que DeepSeek-V3 logra un rendimiento fuerte comparable al de los modelos cerrados de primer nivel mientras mantiene costos de entrenamiento y estabilidad notablemente bajos.

Importancia 3/3 Moonshot AI (arXiv) DeepSeek Research paper Training methods

Artículos relacionados

arxiv Moonshot AI (arXiv) · hace 609 d · 16 vistas

DeepSeek-R1 incentiva el razonamiento de LLM mediante aprendizaje por refuerzo

DeepSeek ha lanzado DeepSeek-R1, un modelo de lenguaje grande entrenado utilizando aprendizaje por refuerzo puro para mejorar sus capacidades de razonamiento sin depender de demostraciones anotadas por humanos.

arxiv Moonshot AI (arXiv) · hace 609 d · 32 vistas

DeepSeek lanza modelos de razonamiento R1 mediante aprendizaje por refuerzo

DeepSeek presenta sus modelos de razonamiento de primera generación, DeepSeek-R1-Zero y DeepSeek-R1, que logran un rendimiento comparable al de OpenAI-o1-1217 en tareas de razonamiento. DeepSeek-R1-Zero se entrena mediante aprendizaje por refuerzo a gran escala sin ajuste fino supervisado, mientras que DeepSeek-R1 utiliza una canalización multietapa con datos de inicio en frío para mejorar la legibilidad.

arxiv arXiv cs.LG · hace 1 d · 10 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar el razonamiento diagnóstico y clínico en atención médica. El marco de entrenamiento primero aplica RL guiado por reglas a preguntas derivadas de MedBullets para el diagnóstico, luego utiliza 5.3k escenarios sintéticos multi-turno con rúbricas multidimensionales para tareas clínicas interactivas.

arxiv arXiv cs.AI · hace 1 d · 12 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en atención médica. El marco de entrenamiento primero se centra en la precisión diagnóstica utilizando preguntas derivadas de MedBullets y luego aborda interacciones clínicas multironda a través de 5.3k escenarios generados con rúbricas multidimensionales.

arxiv arXiv cs.CL · hace 1 d · 12 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en el ámbito sanitario.