NVFP4 양자화와 vLLM 0.22.1을 사용하는 Nemotron-3-Puzzle-75B-A9B 모델은 NVIDIA RTX 3090 GPU 3개로 구성된 환경에서 3개의 스트림에 걸쳐 초당 132토큰의 디코드 속도를 달성합니다. 이 구성은 각 카드가 200W로 제한된 파이프라인 병렬화를 활용하며, 네 번째 카드는 음성 사이드카를 처리합니다.

  • 모델은 75B 총/9B 활성 Mixture of Experts (MoE) 아키텍처로 작동합니다.
  • fp8 KV 캐시와 하이브리드 Mamba를 사용하여 메모리 사용량을 낮게 유지하면서 256K 컨텍스트 윈도우가 있는 3개의席을 지원합니다.
  • 성능 지표에는 1,949 t/s의 프리필 속도 및 전체 박스당 약 500W의 전력 소비가 포함됩니다.
  • 이 설정은 이전 Nemotron Super 120B MoE GGUF 리지던트를 대체하여 더 나은 명령어 추종성과 와트당 속도가 약 2배가 되며, 하나의 GPU 카드를 해제합니다.

이 크기 카테고리는 중요하며, 70–80B 총 파라미터와 ~10B 활성 파라미터는 양자화된 VRAM을 정확히 72GB 채워 A3B 클래스 속도에서 밀집 클래스 품질을 제공합니다. 현재 Puzzle은 이 특정 파라미터 밴드에서 유일한 현대적 옵션입니다.