arxiv Moonshot AI (arXiv) · hace 770 d

NVIDIA lanza la familia de modelos Nemotron-4 340B y su canalización de datos sintéticos

Traducido del English → Español

NVIDIA ha lanzado la familia de modelos Nemotron-4 340B, que comprende variantes Base, Instruct y Reward, bajo una licencia abierta permisiva. Los modelos están diseñados para caber en un único DGX H100 con 8 GPUs en precisión FP8 y fueron entrenados con 9 billones de tokens.

Nemotron-4-340B-Instruct supera a modelos instruct comparables en seguimiento de instrucciones y capacidades de chat.
Nemotron-4-340B-Reward alcanza la máxima precisión en RewardBench, superando a modelos propietarios como GPT-4o-0513 y Gemini 1.5 Pro-0514.
Más del 98% de los datos utilizados para la alineación del modelo fueron generados sintéticamente.
NVIDIA abre el código fuente de la canalización de generación de datos sintéticos, incluyendo prompts y herramientas de filtrado de calidad.

El lanzamiento tiene como objetivo apoyar la investigación comunitaria y las aplicaciones comerciales proporcionando modelos y herramientas de alta calidad para generar datos de entrenamiento sintéticos.

Importancia 2/3 Moonshot AI (arXiv) NVIDIA Open weights Training methods

Leer original

UFP4: El entrenamiento uniforme de 4 bits supera el sesgo de contracción en el preentrenamiento de LLM

Un estudio identifica un sesgo de contracción en los formatos FP4 basados en E2M1 debido a la asimetría geométrica, lo que provoca acumulación de errores multiplicativos e inestabilidad en el entrenamiento. La receta UFP4 propuesta utiliza cuadrículas uniformes E1M2/INT4 y aplica la Transformada de Hadamard Aleatoria a todos los GEMM, logrando una degradación menor de la pérdida que las líneas base E2M1 en el preentrenamiento de LLM a gran escala. Los autores recomiendan E1M2/INT4 como un primitivo de entrenamiento de primera clase para futuros aceleradores.

arxiv Moonshot AI (arXiv) · hace 770 d

NVIDIA lanza la familia de modelos Nemotron-4 340B y la canalización de datos sintéticos

NVIDIA ha lanzado la familia de modelos Nemotron-4 340B, que comprende variantes Base, Instruct y Reward, junto con la canalización de generación de datos sintéticos utilizada para el alineamiento. Los modelos son de acceso abierto bajo el Acuerdo de Licencia de Modelo Abierto de NVIDIA y están dimensionados para caber en un único DGX H100 con 8 GPUs en precisión FP8.

media Hugging Face Forums · hace 3 h

CrowdTensor lanza la Beta de entrenamiento voluntario y el borrador de la RFC de la campaña Qwen2.5-7B GSM8K

CrowdTensor es un protocolo de código abierto con licencia Apache-2.0 para campañas de entrenamiento de modelos por voluntarios con puntos de control, que fija revisiones inmutables del modelo y los datos para asignar trabajo acotado a las celdas CPU, GPU o TPU admitidas. El proyecto ha publicado un proceso de inscripción en Beta junto con un borrador de RFC para una campaña Qwen2.5-7B GSM8K.

arxiv arXiv cs.AI · hace 3 d · 1 vista

SLAI T-Rex permite el entrenamiento posterior de todos los parámetros de DeepSeek-V4 en Ascend SuperPOD

SLAI presenta T-Rex, un marco de optimización de extremo a extremo para el entrenamiento posterior de todos los parámetros de modelos MoE a escala de billones de parámetros en Ascend NPU SuperPOD. Utilizando la familia de modelos DeepSeek-V4 como carga de trabajo objetivo, el sistema aborda la presión de memoria y la sobrecarga de comunicación mediante paralelismo jerárquico y optimizaciones de ejecución de kernels.

arxiv arXiv cs.CL · hace 4 d

SLAI T-Rex permite el postentrenamiento de parámetros completos de DeepSeek-V4 en Ascend SuperPOD

SLAI presenta T-Rex, un marco de optimización de extremo a extremo para el postentrenamiento de parámetros completos de modelos MoE a escala de billones de parámetros en Ascend NPU SuperPOD. Utilizando la familia de modelos DeepSeek-V4 como carga de trabajo objetivo, el sistema aborda la presión de memoria y la sobrecarga de comunicación mediante paralelismo jerárquico y optimizaciones de ejecución de kernels.