arxiv Moonshot AI (arXiv) · há 770 d

NVIDIA lança família de modelos Nemotron-4 340B e pipeline de dados sintéticos

Traduzido do English → Português (BR)

A NVIDIA lançou a família de modelos Nemotron-4 340B, composta pelas variantes Base, Instruct e Reward, juntamente com o pipeline de geração de dados sintéticos utilizado para alinhamento. Os modelos estão disponíveis sob a Licença de Modelo Aberto da NVIDIA e são dimensionados para caber em um único DGX H100 com 8 GPUs em precisão FP8.

As variantes Nemotron-4-340B-Base, Instruct e Reward estão disponíveis sob uma licença permissiva que permite distribuição e modificação.
Os modelos apresentam desempenho competitivo contra benchmarks de acesso aberto e foram otimizados para caber em um único DGX H100 com 8 GPUs em precisão FP8.
Mais de 98% dos dados utilizados no processo de alinhamento do modelo foram gerados sinteticamente, demonstrando a eficácia da abordagem.
A NVIDIA está disponibilizando como código aberto o pipeline de geração de dados sintéticos para apoiar pesquisas abertas e facilitar o treinamento de modelos de linguagem menores.

O lançamento visa beneficiar a comunidade em estudos de pesquisa e aplicações comerciais, particularmente na geração de dados sintéticos para treinar modelos de linguagem menores.

Importância 1/3 Moonshot AI (arXiv) NVIDIA Open weights Training methods

Artigos relacionados

arxiv Moonshot AI (arXiv) · há 770 d

NVIDIA lança família de modelos Nemotron-4 340B e pipeline de dados sintéticos

A NVIDIA lançou a família de modelos Nemotron-4 340B, compreendendo variantes Base, Instruct e Reward, sob uma licença aberta permissiva. Os modelos são projetados para caber em um único DGX H100 com 8 GPUs em precisão FP8 e foram treinados em 9 trilhões de tokens.

media Hugging Face Forums · há 3 h

CrowdTensor lança Beta de treinamento voluntário e RFC de Campanha Qwen2.5-7B GSM8K em rascunho

O CrowdTensor é um protocolo open-source Apache-2.0 para campanhas de treinamento de modelos por voluntários com checkpoints, que vincula revisões imutáveis de modelo e dados para fornecer a células CPU, GPU ou TPU admitidas trabalho limitado. O projeto lançou um processo de inscrição Beta junto com uma RFC em rascunho para uma campanha Qwen2.5-7B GSM8K.

arxiv arXiv cs.AI · há 3 d · 1 visualização

SLAI T-Rex permite o pós-treinamento de todos os parâmetros do DeepSeek-V4 no Ascend SuperPOD

O SLAI apresenta o T-Rex, um framework de otimização de ponta a ponta para o pós-treinamento de todos os parâmetros de modelos MoE na escala de trilhões de parâmetros no Ascend NPU SuperPOD. Utilizando a família de modelos DeepSeek-V4 como carga de trabalho alvo, o sistema aborda a pressão de memória e a sobrecarga de comunicação por meio de paralelismo hierárquico e otimizações de execução de kernels.

arxiv arXiv cs.CL · há 4 d

SLAI T-Rex permite o pós-treinamento de todos os parâmetros do DeepSeek-V4 no Ascend SuperPOD

O SLAI apresenta o T-Rex, um framework de otimização de ponta a ponta para o pós-treinamento de todos os parâmetros de modelos MoE na escala de trilhão de parâmetros no Ascend NPU SuperPOD. Usando a família de modelos DeepSeek-V4 como carga de trabalho alvo, o sistema aborda a pressão de memória e a sobrecarga de comunicação por meio de paralelismo hierárquico e otimizações de execução de kernel.

lab Hugging Face Blog · há 5 d · 1 visualização

Visão geral dos motores de simulação para IA Física: MuJoCo, Isaac Sim e Newton

Este artigo apresenta uma visão geral do estado atual da simulação para IA Física, explicando como a simulação preenche a lacuna de dados para robótica ao permitir ambientes de treinamento escaláveis e fotorrealistas. Ele descreve um paradigma de três computadores (treinamento, simulação e no robô) e categoriza os principais motores de simulação com base em suas capacidades específicas e casos de uso.