arxiv Moonshot AI (arXiv) · há 770 d

NVIDIA lança família de modelos Nemotron-4 340B e pipeline de dados sintéticos

Traduzido do English → Português (BR)

A NVIDIA lançou a família de modelos Nemotron-4 340B, compreendendo variantes Base, Instruct e Reward, sob uma licença aberta permissiva. Os modelos são projetados para caber em um único DGX H100 com 8 GPUs em precisão FP8 e foram treinados em 9 trilhões de tokens.

Nemotron-4-340B-Instruct supera modelos instrucionais comparáveis em capacidade de seguir instruções e conversação.
Nemotron-4-340B-Reward alcança a maior precisão no RewardBench, superando modelos proprietários como GPT-4o-0513 e Gemini 1.5 Pro-0514.
Mais de 98% dos dados usados para alinhamento do modelo foram gerados sinteticamente.
A NVIDIA está disponibilizando em código aberto o pipeline de geração de dados sintéticos, incluindo prompts e ferramentas de filtragem de qualidade.

O lançamento visa apoiar a pesquisa da comunidade e aplicações comerciais, fornecendo modelos e ferramentas de alta qualidade para gerar dados de treinamento sintéticos.

Importância 2/3 Moonshot AI (arXiv) NVIDIA Open weights Training methods

Ler original

NVIDIA lança família de modelos Nemotron-4 340B e pipeline de dados sintéticos

A NVIDIA lançou a família de modelos Nemotron-4 340B, composta pelas variantes Base, Instruct e Reward, juntamente com o pipeline de geração de dados sintéticos utilizado para alinhamento. Os modelos estão disponíveis sob a Licença de Modelo Aberto da NVIDIA e são dimensionados para caber em um único DGX H100 com 8 GPUs em precisão FP8.

media Hugging Face Forums · há 3 h

CrowdTensor lança Beta de treinamento voluntário e RFC de Campanha Qwen2.5-7B GSM8K em rascunho

O CrowdTensor é um protocolo open-source Apache-2.0 para campanhas de treinamento de modelos por voluntários com checkpoints, que vincula revisões imutáveis de modelo e dados para fornecer a células CPU, GPU ou TPU admitidas trabalho limitado. O projeto lançou um processo de inscrição Beta junto com uma RFC em rascunho para uma campanha Qwen2.5-7B GSM8K.

arxiv arXiv cs.AI · há 3 d · 1 visualização

SLAI T-Rex permite o pós-treinamento de todos os parâmetros do DeepSeek-V4 no Ascend SuperPOD

O SLAI apresenta o T-Rex, um framework de otimização de ponta a ponta para o pós-treinamento de todos os parâmetros de modelos MoE na escala de trilhões de parâmetros no Ascend NPU SuperPOD. Utilizando a família de modelos DeepSeek-V4 como carga de trabalho alvo, o sistema aborda a pressão de memória e a sobrecarga de comunicação por meio de paralelismo hierárquico e otimizações de execução de kernels.

arxiv arXiv cs.CL · há 3 d

SLAI T-Rex permite o pós-treinamento de todos os parâmetros do DeepSeek-V4 no Ascend SuperPOD

O SLAI apresenta o T-Rex, um framework de otimização de ponta a ponta para o pós-treinamento de todos os parâmetros de modelos MoE na escala de trilhão de parâmetros no Ascend NPU SuperPOD. Usando a família de modelos DeepSeek-V4 como carga de trabalho alvo, o sistema aborda a pressão de memória e a sobrecarga de comunicação por meio de paralelismo hierárquico e otimizações de execução de kernel.

lab Hugging Face Blog · há 5 d · 1 visualização

Visão geral dos motores de simulação para IA Física: MuJoCo, Isaac Sim e Newton

Este artigo apresenta uma visão geral do estado atual da simulação para IA Física, explicando como a simulação preenche a lacuna de dados para robótica ao permitir ambientes de treinamento escaláveis e fotorrealistas. Ele descreve um paradigma de três computadores (treinamento, simulação e no robô) e categoriza os principais motores de simulação com base em suas capacidades específicas e casos de uso.