A NVIDIA lançou o modelo Nemotron-Labs-3-Puzzle-75B-A9B, um modelo de linguagem grande otimizado para implantação derivado do Nemotron-3-Super-120B-A12B. Ele utiliza o framework de compressão pós-treinamento Iterative Puzzle para melhorar significativamente a eficiência de inferência em cargas de trabalho com raciocínio e contexto longo, mantendo alta precisão downstream.
- Reduz os parâmetros de 120.7B totais / 12.8B ativos para 75.3B totais / 9.3B ativos.
- Alcança aproximadamente 2x maior throughput do servidor em um único nó 8x B200 sob restrições de throughput do usuário equivalentes.
- Aumenta a concorrência sustentável de 1M de tokens em uma única H100 de 1 solicitação para 8 solicitações.
- Mantém alta precisão em benchmarks de raciocínio, codificação, multilíngue, contexto longo e agentes.
O modelo suporta Previsão Multi-Tokens para geração de texto mais rápida e está pronto para uso comercial em inglês, francês, alemão, italiano, japonês, espanhol e chinês.