NVIDIA a publié le modèle Nemotron-Labs-3-Puzzle-75B-A9B, un grand modèle de langage optimisé pour le déploiement dérivé de Nemotron-3-Super-120B-A12B. Il utilise le framework de compression post-entraînement par puzzle itératif pour améliorer considérablement l'efficacité de l'inférence pour les charges de travail lourdes en raisonnement et à long contexte, tout en maintenant une forte précision en aval.
- Réduit les paramètres de 120,7B total / 12,8B actifs à 75,3B total / 9,3B actifs.
- Atteint un débit serveur environ 2x plus élevé sur un nœud unique 8x B200 avec des contraintes de débit utilisateur identiques.
- Augmente la concurrence mono-H100 durable de 1M tokens de 1 requête à 8 requêtes.
- Maintient une forte précision à travers les benchmarks de raisonnement, codage, multilingue, long contexte et agents.
Le modèle prend en charge la prédiction multi-tokens pour une génération de texte plus rapide et est prêt pour un usage commercial en anglais, français, allemand, italien, japonais, espagnol et chinois.