arxiv Moonshot AI (arXiv) · hace 770 d

NVIDIA lanza la familia de modelos Nemotron-4 340B y la canalización de datos sintéticos

Traducido del English → Español

NVIDIA ha lanzado la familia de modelos Nemotron-4 340B, que comprende variantes Base, Instruct y Reward, junto con la canalización de generación de datos sintéticos utilizada para el alineamiento. Los modelos son de acceso abierto bajo el Acuerdo de Licencia de Modelo Abierto de NVIDIA y están dimensionados para caber en un único DGX H100 con 8 GPUs en precisión FP8.

Las variantes Nemotron-4-340B-Base, Instruct y Reward están disponibles bajo una licencia permisiva que permite la distribución y modificación.
Los modelos compiten de manera competitiva contra benchmarks de acceso abierto y fueron optimizados para caber en un único DGX H100 con 8 GPUs en precisión FP8.
Más del 98% de los datos utilizados en el proceso de alineamiento del modelo fueron generados sintéticamente, demostrando la efectividad del enfoque.
NVIDIA está liberando como código abierto la canalización de generación de datos sintéticos para apoyar la investigación abierta y facilitar el entrenamiento de modelos de lenguaje más pequeños.

El lanzamiento tiene como objetivo beneficiar a la comunidad en estudios de investigación y aplicaciones comerciales, particularmente para generar datos sintéticos que entrenen modelos de lenguaje más pequeños.

Importancia 1/3 Moonshot AI (arXiv) NVIDIA Open weights Training methods

Artículos relacionados

arxiv arXiv cs.AI · hace 37 d

UFP4: El entrenamiento uniforme de 4 bits supera el sesgo de contracción en el preentrenamiento de LLM

Un estudio identifica un sesgo de contracción en los formatos FP4 basados en E2M1 debido a la asimetría geométrica, lo que provoca acumulación de errores multiplicativos e inestabilidad en el entrenamiento. La receta UFP4 propuesta utiliza cuadrículas uniformes E1M2/INT4 y aplica la Transformada de Hadamard Aleatoria a todos los GEMM, logrando una degradación menor de la pérdida que las líneas base E2M1 en el preentrenamiento de LLM a gran escala. Los autores recomiendan E1M2/INT4 como un primitivo de entrenamiento de primera clase para futuros aceleradores.

arxiv Moonshot AI (arXiv) · hace 770 d

NVIDIA lanza la familia de modelos Nemotron-4 340B y su canalización de datos sintéticos

NVIDIA ha lanzado la familia de modelos Nemotron-4 340B, que comprende variantes Base, Instruct y Reward, bajo una licencia abierta permisiva. Los modelos están diseñados para caber en un único DGX H100 con 8 GPUs en precisión FP8 y fueron entrenados con 9 billones de tokens.

media Hugging Face Forums · hace 4 h

CrowdTensor lanza la Beta de entrenamiento voluntario y el borrador de la RFC de la campaña Qwen2.5-7B GSM8K

CrowdTensor es un protocolo de código abierto con licencia Apache-2.0 para campañas de entrenamiento de modelos por voluntarios con puntos de control, que fija revisiones inmutables del modelo y los datos para asignar trabajo acotado a las celdas CPU, GPU o TPU admitidas. El proyecto ha publicado un proceso de inscripción en Beta junto con un borrador de RFC para una campaña Qwen2.5-7B GSM8K.

arxiv arXiv cs.AI · hace 3 d · 1 vista

SLAI T-Rex permite el entrenamiento posterior de todos los parámetros de DeepSeek-V4 en Ascend SuperPOD

SLAI presenta T-Rex, un marco de optimización de extremo a extremo para el entrenamiento posterior de todos los parámetros de modelos MoE a escala de billones de parámetros en Ascend NPU SuperPOD. Utilizando la familia de modelos DeepSeek-V4 como carga de trabajo objetivo, el sistema aborda la presión de memoria y la sobrecarga de comunicación mediante paralelismo jerárquico y optimizaciones de ejecución de kernels.

arxiv arXiv cs.CL · hace 4 d

SLAI T-Rex permite el postentrenamiento de parámetros completos de DeepSeek-V4 en Ascend SuperPOD

SLAI presenta T-Rex, un marco de optimización de extremo a extremo para el postentrenamiento de parámetros completos de modelos MoE a escala de billones de parámetros en Ascend NPU SuperPOD. Utilizando la familia de modelos DeepSeek-V4 como carga de trabajo objetivo, el sistema aborda la presión de memoria y la sobrecarga de comunicación mediante paralelismo jerárquico y optimizaciones de ejecución de kernels.