NVIDIAは、Nemotron-3-Super-120B-A12B由来のデプロイメント最適化大規模言語モデルであるNemotron-Labs-3-Puzzle-75B-A9Bモデルをリリースしました。これは反復パズル後処理圧縮フレームワークを利用し、推論効率を大幅に向上させつつ、強いダウンストリーム精度を維持します。

  • パラメータ数を120.7B合計/12.8Bアクティブから75.3B合計/9.3Bアクティブに削減。
  • 単一の8x B200ノード上でユーザースループット制約を一致させた場合、サーバーのスループットが約2倍向上。
  • 持続可能な1Mトークンの単一H100並列数を1リクエストから8リクエストに増加。
  • 推論、コーディング、多言語、長文脈、エージェントのベンチマークで強い精度を維持。

このモデルはより高速なテキスト生成のためのマルチトークン予測をサポートし、英語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語での商用利用が可能です。