arxiv Moonshot AI (arXiv) · il y a 770 j

NVIDIA lance la famille de modèles Nemotron-4 340B et son pipeline de données synthétiques

Traduit de English → Français

NVIDIA a publié la famille de modèles Nemotron-4 340B, comprenant les variantes Base, Instruct et Reward, sous une licence ouverte permissive. Les modèles sont conçus pour tenir sur un seul DGX H100 avec 8 GPU en précision FP8 et ont été entraînés sur 9 billions de tokens.

Nemotron-4-340B-Instruct dépasse les modèles instruct comparables en matière de suivi des instructions et de capacités de chat.
Nemotron-4-340B-Reward atteint une précision maximale sur RewardBench, surpassant des modèles propriétaires tels que GPT-4o-0513 et Gemini 1.5 Pro-0514.
Plus de 98 % des données utilisées pour l'alignement du modèle ont été générées de manière synthétique.
NVIDIA open-source le pipeline de génération de données synthétiques, y compris les prompts et les outils de filtrage de qualité.

Cette publication vise à soutenir la recherche communautaire et les applications commerciales en fournissant des modèles et des outils de haute qualité pour générer des données d'entraînement synthétiques.

Importance 2/3 Moonshot AI (arXiv) NVIDIA Open weights Training methods

Lire l'original

Articles similaires

arxiv Moonshot AI (arXiv) · il y a 770 j

NVIDIA lance la famille de modèles Nemotron-4 340B et son pipeline de données synthétiques

NVIDIA a publié la famille de modèles Nemotron-4 340B, comprenant les variantes Base, Instruct et Reward, ainsi que le pipeline de génération de données synthétiques utilisé pour l'alignement. Les modèles sont accessibles librement sous l'accord de licence NVIDIA Open Model License Agreement et sont dimensionnés pour tenir sur un seul DGX H100 avec 8 GPU en précision FP8.

media Hugging Face Forums · il y a 3 h

CrowdTensor lance la bêta d'entraînement par volontaires et la RFC de campagne Draft Qwen2.5-7B GSM8K

CrowdTensor est un protocole open-source sous licence Apache-2.0 pour des campagnes d'entraînement de modèles par volontaires avec points de contrôle, qui lie des révisions immuables du modèle et des données afin de fournir aux cellules CPU, GPU ou TPU admises un travail borné. Le projet a publié un processus d'inscription en bêta ainsi qu'une RFC brouillon pour une campagne Qwen2.5-7B GSM8K.

arxiv arXiv cs.AI · il y a 3 j · 1 vue

SLAI T-Rex permet le post-entraînement à paramètres complets de DeepSeek-V4 sur Ascend SuperPOD

SLAI présente T-Rex, un framework d'optimisation de bout en bout pour le post-entraînement à paramètres complets de modèles MoE à l'échelle du trillion de paramètres sur Ascend NPU SuperPOD. En utilisant la famille de modèles DeepSeek-V4 comme charge de travail cible, le système adresse la pression mémoire et les frais de communication grâce à un parallélisme hiérarchique et des optimisations d'exécution de noyaux.

arxiv arXiv cs.CL · il y a 3 j

SLAI T-Rex permet le post-entraînement à paramètres complets de DeepSeek-V4 sur Ascend SuperPOD

SLAI présente T-Rex, un framework d'optimisation de bout en bout pour le post-entraînement à paramètres complets de modèles MoE à l'échelle du trillion de paramètres sur Ascend NPU SuperPOD. En utilisant la famille de modèles DeepSeek-V4 comme charge de travail cible, le système adresse la pression mémoire et les frais de communication grâce au parallélisme hiérarchique et aux optimisations d'exécution de noyaux.

lab Hugging Face Blog · il y a 5 j · 1 vue

Aperçu des moteurs de simulation pour l'IA physique : MuJoCo, Isaac Sim et Newton

Cet article fournit un aperçu de l'état actuel de la simulation pour l'IA physique, expliquant comment la simulation comble le manque de données pour la robotique en permettant des environnements d'entraînement évolutifs et photoréalistes. Il décrit un paradigme à trois ordinateurs (entraînement, simulation, sur robot) et classe les principaux moteurs de simulation en fonction de leurs capacités spécifiques et de leurs cas d'utilisation.