コントリビューターがPR #1535を通じてmlx-lmにネイティブの`nemotron_h_puzzle`サポートを追加し、Nemotron Puzzle 75Bモデルを64GB M2 Max上で実行可能にしました。この作業には、ブロックワイズ構成のサポート修正、テンソル再マッピング、およびNVIDIAのFP32ノーマライゼーション/ルーティング動作の整合化が含まれていました。

  • 4ビット専門家の量子化（6ビットの密層とBF16出力ヘッド付き）は42.03 GiBのチェックポイントサイズを使用し、メモリ使用量は最大49.68 GBに達します。
  • 4ビット構成では平均生成速度が14.27 tok/sを達成し、5ビット版の10.53 tok/sと比較して高速です。
  • ローカルタスクの評価では、4ビットは24/30、5ビットは21/30でした。一方、長文脈検索では4ビットが4/5、5ビットが0/5でした。
  • 第一層のSSM出力に不一致を引き起こすバグが、NVIDIAのBF16からFP32への昇格境界を一致させることで解決され、コサイン類似度が0.999998に改善しました。
  • BF16出力ヘッドは必須です。4ビットで量子化された131k語彙のlm_headは反復的なゴミを生成しました。

著者は、5ビットチェックポイントが64GBのメモリ限界付近で動作していることを指摘し、より高いメモリ構成では異なる結果が得られる可能性があるとしています。