media Hugging Face Forums · há 3 d · open_models

Proposta de crescimento progressivo de modelos e um perfil de hardware aberto para Transformers

Traduzido do English → Português (BR)

Uma proposta no Hugging Face discute dois problemas interligados na IA: a dependência do treinamento de grandes modelos separados e a dependência do ecossistema em GPUs de propósito geral.

O autor sugere o "crescimento progressivo de modelos", onde um modelo se expande estruturalmente (por exemplo, de 4B para 8B) preservando as representações aprendidas, em vez de começar do zero para cada tamanho.
Essa abordagem complementa a transferência de conhecimento de tamanho fixo, permitindo que os modelos absorvam mais capacidade antes que a expansão estrutural seja necessária.
Para abordar as limitações de hardware, o autor propõe um "Perfil de Hardware de IA" para Transformers, definindo um conjunto estável de operações comuns (como GEMM e atenção) para fabricantes especializados de ASIC.
A proposta argumenta que os lançamentos de modelos devem avaliar métricas de eficiência como tokens por joule e requisitos de memória junto com a contagem de parâmetros.

O autor acredita que essas mudanças podem ajudar usuários locais de IA a superar os limites de VRAM e fornecer aos fabricantes de hardware um alvo claro de otimização.

Importância 1/3 Confiança 1/3 Hugging Face Forums Hardware & chips Training methods

Artigos relacionados

arxiv arXiv cs.AI · há 62 d · 29 visualizações

SLAI T-Rex permite o pós-treinamento de todos os parâmetros do DeepSeek-V4 no Ascend SuperPOD

O SLAI apresenta o T-Rex, um framework de otimização de ponta a ponta para o pós-treinamento de todos os parâmetros de modelos MoE na escala de trilhões de parâmetros no Ascend NPU SuperPOD. Utilizando a família de modelos DeepSeek-V4 como carga de trabalho alvo, o sistema aborda a pressão de memória e a sobrecarga de comunicação por meio de paralelismo hierárquico e otimizações de execução de kernels.

arxiv arXiv cs.CL · há 62 d · 23 visualizações

SLAI T-Rex permite o pós-treinamento de todos os parâmetros do DeepSeek-V4 no Ascend SuperPOD

O SLAI apresenta o T-Rex, um framework de otimização de ponta a ponta para o pós-treinamento de todos os parâmetros de modelos MoE na escala de trilhão de parâmetros no Ascend NPU SuperPOD. Usando a família de modelos DeepSeek-V4 como carga de trabalho alvo, o sistema aborda a pressão de memória e a sobrecarga de comunicação por meio de paralelismo hierárquico e otimizações de execução de kernel.

media r/LocalLLaMA · há 69 d · 9 visualizações

Pluralis Research executa RL pós-treinamento em 14 Macs de consumo

A Pluralis Research executou com sucesso a primeira execução de RL pós-treinamento onde toda a frota de rollouts operou em Macs de consumo conectados via internet aberta. A configuração utilizou 14 Macs em quatro países para inferência int8 com MLX, enquanto uma única B200 lidava com atualizações de gradiente bf16.

lab NVIDIA Technical Blog · há 76 d · 22 visualizações

Guia da NVIDIA sobre comunicação iniciada por GPU para dinâmica molecular

O artigo apresenta um guia prático focado em técnicas de comunicação iniciadas pela GPU para simulações de dinâmica molecular em larga escala.

lab NVIDIA Technical Blog · há 78 d · 21 visualizações

NVIDIA propõe paralelismo de tensores não uniforme para melhorar o goodput no treinamento de LLM em larga escala

A NVIDIA propôs um método usando paralelismo de tensores não uniforme para enfrentar desafios de infraestrutura no treinamento massivo de LLM. Esta abordagem visa mitigar atrasos causados por interrupções não programadas e flutuações de recursos que ocorrem quando jobs abrangem milhares de GPUs por longos períodos.