Компания NVIDIA выпустила модель Nemotron-Labs-3-Puzzle-75B-A9B, крупную языковую модель, оптимизированную для развертывания и полученную из Nemotron-3-Super-120B-A12B. Она использует фреймворк сжатия постобучения Iterative Puzzle для значительного повышения эффективности вывода при задачах, требующих рассуждений и длинного контекста, сохраняя при этом высокую точность в downstream-задачах.
- Уменьшает количество параметров с 120.7B общих / 12.8B активных до 75.3B общих / 9.3B активных.
- Обеспечивает примерно двукратное увеличение пропускной способности сервера на одном узле 8x B200 при соблюдении ограничений по пользовательской пропускной способности.
- Увеличивает устойчивую однопоточную конкурентность 1M-токенов на одном H100 с 1 запроса до 8 запросов.
- Сохраняет высокую точность в задачах рассуждений, программирования, многоязычности, длинного контекста и агентов.
Модель поддерживает многозадачное предсказание токенов для более быстрого генерирования текста и готова к коммерческому использованию на английском, французском, немецком, итальянском, японском, испанском и китайском языках.