lab DeepSeek (Hugging Face) · hace 591 d

DeepSeek lanza el modelo de lenguaje V3 MoE con 671B parámetros

Traducido del English → Español

DeepSeek ha lanzado DeepSeek-V3, un modelo de lenguaje Mixture-of-Experts (MoE) que cuenta con 671 mil millones de parámetros totales y 37 mil millones activados por token. El modelo está entrenado con 14,8 billones de tokens y utiliza Multi-head Latent Attention y una estrategia de balanceo de carga sin pérdida auxiliar.

DeepSeek-V3 logra un rendimiento comparable a los modelos propietarios líderes mientras requiere solo 2,788M de horas de GPU H800 para el entrenamiento.
Incorpora un objetivo de Predicción Multitoken (MTP) y destila capacidades de razonamiento de la serie DeepSeek-R1.
El modelo admite inferencia a través de bibliotecas como Transformers, vLLM, SGLang y LMDeploy.

El lanzamiento proporciona acceso de código abierto a un modelo base de alto rendimiento con fuertes capacidades matemáticas y de código.

Importancia 3/3 DeepSeek (Hugging Face) DeepSeek Open weights Reasoning models

Leer original

RaDaR: Un LLM de razonamiento especializado para acelerar el diagnóstico de enfermedades raras

Los investigadores presentan RaDaR, un modelo de lenguaje grande (LLM) de código abierto con 32B parámetros diseñado para acelerar el diagnóstico de enfermedades raras abordando desafíos en la implementabilidad clínica y la escasez de datos. El modelo fue entrenado con casi 50,000 casos públicos y más de 100,000 casos sintéticos, demostrando un rendimiento superior en benchmarks y centros de validación externa.

arxiv arXiv cs.LG · hace 53 d

Evaluación de referencia de LLMs de código abierto para clasificación multi-etiqueta de ATT&CK

Se construyó un conjunto de datos con verdad fundamental de 2,076 oraciones anotadas por humanos procedentes de 83 informes complejos de CTI y se asignaron a 114 técnicas de ATT&CK con \k{appa} = 0.68 de acuerdo entre anotadores. Se evaluaron siete LLMs de código abierto que oscilan entre 8B y 236B parámetros, alcanzando una puntuación F1 micro-promediada máxima de 0.22. El tamaño del parámetro mostró una correlación positiva estadísticamente significativa con la puntuación F1, mientras que la estrategia de prompt y la temperatura no produjeron mejoras significativas, lo que indica que los LLMs actuales de código abierto son insuficientes para la clasificación de ATT&CK de grado de producción.

arxiv arXiv cs.CL · hace 53 d · 2 vistas

Los LLM predicen demencia y depresión a partir del habla clínica

Un estudio utiliza modelos de lenguaje grandes de peso abierto para evaluar la gravedad de la demencia y la depresión a partir de entrevistas clínicas. Los LLM logran una predicción precisa de la depresión en zero-shot (MAE 0.60) y una evaluación mejorada de la demencia con extracción de características (MAE 0.78), reduciendo los errores hasta un 35%. Las transcripciones enriquecidas con pausas coinciden con las transcripciones humanas, apoyando los flujos de trabajo de detección automatizada para trastornos neuropsiquiátricos.

lab DeepSeek (Hugging Face) · hace 438 d

DeepSeek-R1-0528 mejora el razonamiento y la precisión en AIME hasta 87,5%

DeepSeek ha lanzado DeepSeek-R1-0528, una actualización de versión menor que mejora significativamente la profundidad del razonamiento y las capacidades de inferencia mediante un mayor uso de recursos computacionales y optimizaciones algorítmicas durante el post-entrenamiento.

lab DeepSeek (Hugging Face) · hace 503 d

DeepSeek-V3-0324 mejora el razonamiento, la programación y la escritura en chino respecto a DeepSeek-V3

DeepSeek ha lanzado DeepSeek-V3-0324, una actualización del modelo que demuestra mejoras notables respecto a su predecesor, DeepSeek-V3, particularmente en capacidades de razonamiento, ejecutabilidad del código y competencia en escritura en chino.