media Hugging Face Forums · hace 3 d · open_models

Propuesta de crecimiento progresivo de modelos y un perfil de hardware abierto para Transformers

Traducido del English → Español

Una propuesta en Hugging Face discute dos problemas interconectados en la IA: la dependencia del entrenamiento de modelos grandes separados y la dependencia del ecosistema de GPUs de propósito general.

El autor sugiere el "crecimiento progresivo de modelos", donde un modelo se expande estructuralmente (por ejemplo, de 4B a 8B) preservando las representaciones aprendidas, en lugar de empezar desde cero para cada tamaño.
Este enfoque complementa la transferencia de conocimiento de tamaño fijo, permitiendo que los modelos absorban más capacidad antes de que sea necesaria una expansión estructural.
Para abordar las limitaciones de hardware, el autor propone un "Perfil de Hardware de IA" para Transformers, definiendo un conjunto estable de operaciones comunes (como GEMM y atención) para fabricantes especializados de ASIC.
La propuesta argumenta que los lanzamientos de modelos deben evaluar métricas de eficiencia como tokens por julio y requisitos de memoria junto con el recuento de parámetros.

El autor cree que estos cambios podrían ayudar a los usuarios locales de IA a superar los límites de VRAM y proporcionar a los fabricantes de hardware un objetivo claro de optimización.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Hardware & chips Training methods

Artículos relacionados

arxiv arXiv cs.AI · hace 62 d · 29 vistas

SLAI T-Rex permite el entrenamiento posterior de todos los parámetros de DeepSeek-V4 en Ascend SuperPOD

SLAI presenta T-Rex, un marco de optimización de extremo a extremo para el entrenamiento posterior de todos los parámetros de modelos MoE a escala de billones de parámetros en Ascend NPU SuperPOD. Utilizando la familia de modelos DeepSeek-V4 como carga de trabajo objetivo, el sistema aborda la presión de memoria y la sobrecarga de comunicación mediante paralelismo jerárquico y optimizaciones de ejecución de kernels.

arxiv arXiv cs.CL · hace 62 d · 23 vistas

SLAI T-Rex permite el postentrenamiento de parámetros completos de DeepSeek-V4 en Ascend SuperPOD

SLAI presenta T-Rex, un marco de optimización de extremo a extremo para el postentrenamiento de parámetros completos de modelos MoE a escala de billones de parámetros en Ascend NPU SuperPOD. Utilizando la familia de modelos DeepSeek-V4 como carga de trabajo objetivo, el sistema aborda la presión de memoria y la sobrecarga de comunicación mediante paralelismo jerárquico y optimizaciones de ejecución de kernels.

media r/LocalLLaMA · hace 69 d · 9 vistas

Pluralis Research ejecuta RL post-entrenamiento en 14 Mac de consumo

Pluralis Research ha ejecutado con éxito la primera ejecución de RL post-entrenamiento donde toda la flota de rollouts operó en Mac de consumo conectados a través de internet abierto. La configuración utilizó 14 Mac en cuatro países para inferencia int8 con MLX, mientras que una única B200 manejaba actualizaciones de gradiente bf16.

lab NVIDIA Technical Blog · hace 76 d · 22 vistas

Guía de NVIDIA sobre comunicación iniciada por GPU para dinámica molecular

El artículo presenta una guía práctica centrada en técnicas de comunicación iniciadas por la GPU para simulaciones de dinámica molecular a gran escala.

lab NVIDIA Technical Blog · hace 78 d · 21 vistas

NVIDIA propone paralelismo de tensores no uniforme para mejorar el goodput en el entrenamiento de LLM a gran escala

NVIDIA ha propuesto un método que utiliza paralelismo de tensores no uniforme para abordar los desafíos de infraestructura en el entrenamiento masivo de LLM. Este enfoque busca mitigar las ralentizaciones causadas por interrupciones no programadas y fluctuaciones de recursos que ocurren cuando los trabajos abarcan miles de GPUs durante períodos prolongados.