arxiv Moonshot AI (arXiv) · hace 609 d

DeepSeek-R1 incentiva el razonamiento de LLM mediante aprendizaje por refuerzo

Traducido del English → Español

DeepSeek ha lanzado DeepSeek-R1, un modelo de lenguaje grande entrenado utilizando aprendizaje por refuerzo puro para mejorar sus capacidades de razonamiento sin depender de demostraciones anotadas por humanos.

El modelo exhibe patrones de razonamiento avanzado emergentes, incluyendo auto-reflexión, verificación y adaptación dinámica de estrategias. Logra un rendimiento superior en tareas verificables en matemáticas, competencias de programación y campos STEM en comparación con modelos entrenados mediante aprendizaje supervisado convencional. Además, los patrones de razonamiento desarrollados por este modelo a gran escala pueden utilizarse para guiar y mejorar modelos más pequeños.

Este enfoque demuestra que el aprendizaje por refuerzo por sí solo puede incentificar eficazmente comportamientos de razonamiento complejos en LLM, reduciendo la dependencia de datos extensamente etiquetados por humanos.

Importancia 2/3 Moonshot AI (arXiv) DeepSeek Research paper Training methods

Leer original

DeepSeek lanza modelos de razonamiento R1 mediante aprendizaje por refuerzo

DeepSeek presenta sus modelos de razonamiento de primera generación, DeepSeek-R1-Zero y DeepSeek-R1, que logran un rendimiento comparable al de OpenAI-o1-1217 en tareas de razonamiento. DeepSeek-R1-Zero se entrena mediante aprendizaje por refuerzo a gran escala sin ajuste fino supervisado, mientras que DeepSeek-R1 utiliza una canalización multietapa con datos de inicio en frío para mejorar la legibilidad.

arxiv Moonshot AI (arXiv) · hace 635 d · 24 vistas

DeepSeek-V3: modelo MoE de 671B con equilibrio sin pérdida auxiliar

DeepSeek-AI presenta DeepSeek-V3, un potente modelo de lenguaje Mixture-of-Experts con 671B parámetros totales y 37B activados por token. El modelo adopta las arquitecturas Multi-head Latent Attention y DeepSeekMoE para lograr inferencia eficiente y entrenamiento rentable.

arxiv arXiv cs.LG · hace 1 d · 10 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar el razonamiento diagnóstico y clínico en atención médica. El marco de entrenamiento primero aplica RL guiado por reglas a preguntas derivadas de MedBullets para el diagnóstico, luego utiliza 5.3k escenarios sintéticos multi-turno con rúbricas multidimensionales para tareas clínicas interactivas.

arxiv arXiv cs.AI · hace 1 d · 12 vistas

Fathom-Vaidya mejora el razonamiento médico con recompensas basadas en rúbricas

Los autores presentan Fathom-Vaidya, un modelo de 30B parámetros que utiliza datos sintéticos y aprendizaje por refuerzo basado en rúbricas para mejorar tanto el razonamiento diagnóstico como el clínico en atención médica. El marco de entrenamiento primero se centra en la precisión diagnóstica utilizando preguntas derivadas de MedBullets y luego aborda interacciones clínicas multironda a través de 5.3k escenarios generados con rúbricas multidimensionales.

arxiv arXiv cs.CL · hace 1 d · 12 vistas