media InfoQ · hace 551 d

DeepSeek abre el código fuente de DeepSeek-R1 LLM con un rendimiento comparable al de OpenAI o1

Traducido del English → Español

DeepSeek ha abierto el código fuente de DeepSeek-R1, un modelo de lenguaje grande ajustado mediante aprendizaje por refuerzo para mejorar las capacidades de razonamiento. El modelo obtiene resultados a la par que los de OpenAI o1 en benchmarks como MATH-500 y SWE-bench.

Basado en la mezcla de expertos DeepSeek-V3, utiliza Group Relative Policy Optimization (GRPO) para el entrenamiento.
El equipo abordó los problemas de "inicio en frío" del RL añadiendo ajuste fino supervisado con ejemplos de cadena de pensamiento antes del aprendizaje por refuerzo.
Se lanzaron versiones destiladas para Qwen y Llama, superando a modelos más grandes como GPT-4 en tareas de matemáticas y programación.
DeepSeek-R1 se clasificó #3 en general en LMArena poco después de su lanzamiento, liderando en las categorías de programación y matemáticas.

La licencia de código abierto permite utilizar las salidas del modelo para la destilación, lo que podría avanzar el estado del arte para modelos de lenguaje de todos los tamaños.

Importancia 3/3 Supera un benchmark de un laboratorio puntero InfoQ DeepSeek Open weights Reasoning models

Artículos relacionados

arxiv arXiv cs.AI · hace 41 d

RaDaR: Un LLM de razonamiento especializado para acelerar el diagnóstico de enfermedades raras

Los investigadores presentan RaDaR, un modelo de lenguaje grande (LLM) de código abierto con 32B parámetros diseñado para acelerar el diagnóstico de enfermedades raras abordando desafíos en la implementabilidad clínica y la escasez de datos. El modelo fue entrenado con casi 50,000 casos públicos y más de 100,000 casos sintéticos, demostrando un rendimiento superior en benchmarks y centros de validación externa.

arxiv arXiv cs.LG · hace 53 d

Evaluación de referencia de LLMs de código abierto para clasificación multi-etiqueta de ATT&CK

Se construyó un conjunto de datos con verdad fundamental de 2,076 oraciones anotadas por humanos procedentes de 83 informes complejos de CTI y se asignaron a 114 técnicas de ATT&CK con \k{appa} = 0.68 de acuerdo entre anotadores. Se evaluaron siete LLMs de código abierto que oscilan entre 8B y 236B parámetros, alcanzando una puntuación F1 micro-promediada máxima de 0.22. El tamaño del parámetro mostró una correlación positiva estadísticamente significativa con la puntuación F1, mientras que la estrategia de prompt y la temperatura no produjeron mejoras significativas, lo que indica que los LLMs actuales de código abierto son insuficientes para la clasificación de ATT&CK de grado de producción.

arxiv arXiv cs.CL · hace 53 d · 2 vistas

Los LLM predicen demencia y depresión a partir del habla clínica

Un estudio utiliza modelos de lenguaje grandes de peso abierto para evaluar la gravedad de la demencia y la depresión a partir de entrevistas clínicas. Los LLM logran una predicción precisa de la depresión en zero-shot (MAE 0.60) y una evaluación mejorada de la demencia con extracción de características (MAE 0.78), reduciendo los errores hasta un 35%. Las transcripciones enriquecidas con pausas coinciden con las transcripciones humanas, apoyando los flujos de trabajo de detección automatizada para trastornos neuropsiquiátricos.

lab DeepSeek (Hugging Face) · hace 438 d

DeepSeek-R1-0528 mejora el razonamiento y la precisión en AIME hasta 87,5%

DeepSeek ha lanzado DeepSeek-R1-0528, una actualización de versión menor que mejora significativamente la profundidad del razonamiento y las capacidades de inferencia mediante un mayor uso de recursos computacionales y optimizaciones algorítmicas durante el post-entrenamiento.

lab DeepSeek (Hugging Face) · hace 503 d

DeepSeek-V3-0324 mejora el razonamiento, la programación y la escritura en chino respecto a DeepSeek-V3

DeepSeek ha lanzado DeepSeek-V3-0324, una actualización del modelo que demuestra mejoras notables respecto a su predecesor, DeepSeek-V3, particularmente en capacidades de razonamiento, ejecutabilidad del código y competencia en escritura en chino.