Модель Nemotron-3-Puzzle-75B-A9B, использующая квантование NVFP4 и vLLM 0.22.1, достигает скорости декодирования 132 токенов в секунду по трём потокам на конфигурации из трёх графических процессоров NVIDIA RTX 3090. Эта конфигурация использует конвейерное распараллеливание с ограничением каждой карты мощностью 200 Вт, в то время как четвёртая карта обрабатывает речевой сайдкар.

  • Модель работает как архитектура Mixture of Experts (MoE) с общим количеством параметров 75B и активными параметрами 9B.
  • Она поддерживает три слота с контекстным окном 256K, используя кэш KV формата fp8 и гибридный Mamba для поддержания низкого потребления памяти.
  • Метрики производительности включают скорость префиллинга 1 949 ток/с и потребление мощности около 500 Вт для всей системы.
  • Эта конфигурация заменяет предыдущего резидента GGUF Nemotron Super 120B MoE, предлагая лучшее следование инструкциям и примерно вдвое большую скорость на ватт, а также освобождая одну графическую карту.

Эта категория размеров значима, потому что 70–80B общих параметров с ~10B активных параметров точно заполняют 72 ГБ квантованной VRAM, обеспечивая качество класса dense при скорости класса A3B. В настоящее время Puzzle является единственным современным вариантом в этой конкретной полосе параметров для систем с несколькими картами по 24 ГБ.