NVIDIA ha lanzado el modelo Nemotron-Labs-3-Puzzle-75B-A9B, un modelo de lenguaje grande optimizado para despliegue derivado de Nemotron-3-Super-120B-A12B. Utiliza el marco de compresión post-entrenamiento Iterative Puzzle para mejorar significativamente la eficiencia de inferencia en cargas de trabajo con razonamiento y contexto largo, manteniendo una alta precisión en tareas posteriores.
- Reduce los parámetros de 120.7B totales / 12.8B activos a 75.3B totales / 9.3B activos.
- Logra aproximadamente un rendimiento del servidor 2x mayor en un nodo único 8x B200 bajo restricciones de rendimiento del usuario equivalentes.
- Aumenta la concurrencia sostenible de 1M de tokens en una sola H100 de 1 solicitud a 8 solicitudes.
- Mantiene una alta precisión en benchmarks de razonamiento, codificación, multilingüismo, contexto largo y agentes.
El modelo soporta Predicción Multi-Tokens para una generación de texto más rápida y está listo para uso comercial en inglés, francés, alemán, italiano, japonés, español y chino.