NVIDIA가 압축된 Nemotron 모델인 Puzzle-75B-A9B를 출시하여 처리량 2배 향상

NVIDIA는 Nemotron-3-Super-120B-A12B에서 파생된 배포 최적화 대규모 언어 모델인 Nemotron-Labs-3-Puzzle-75B-A9B 모델을 출시했습니다. 이는 반복 퍼즐 사후 훈련 압축 프레임워크를 활용하여 추론 효율성을 크게 향상시키면서도 강력한 다운스트림 정확도를 유지합니다.

• 파라미터 수를 총 120.7B/활성 12.8B에서 총 75.3B/활성 9.3B로 줄입니다.
• 단일 8x B200 노드에서 사용자 처리량 제약 조건을 일치시켰을 때 서버 처리량이 약 2배 향상됩니다.
• 지속 가능한 1M 토큰 단일 H100 동시성을 요청 1개에서 8개로 증가시킵니다.
• 추론, 코딩, 다국어, 장문맥, 에이전트 벤치마크에서 강력한 정확도를 유지합니다.

이 모델은 더 빠른 텍스트 생성을 위한 멀티 토큰 예측을 지원하며 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어, 중국어 상용 사용이 가능합니다.