Seorang kontributor menambahkan dukungan native `nemotron_h_puzzle` ke mlx-lm melalui PR #1535, memungkinkan model Nemotron Puzzle 75B berjalan di M2 Max 64GB. Pekerjaan ini melibatkan perbaikan dukungan konfigurasi blockwise, pemetaan ulang tensor, dan penyelarasan perilaku norm/router FP32 NVIDIA.
- Kuantisasi ahli 4-bit (dengan lapisan dense 6-bit dan kepala output BF16) menggunakan ukuran checkpoint 42,03 GiB dan mencapai puncak memori 49,68 GB.
- Konfigurasi 4-bit mencapai kecepatan generasi rata-rata 14,27 tok/s, dibandingkan dengan 10,53 tok/s untuk varian 5-bit.
- Penilaian tugas lokal mencetak skor 24/30 untuk 4-bit versus 21/30 untuk 5-bit, sementara pengambilan konteks panjang adalah 4/5 versus 0/5.
- Sebuah bug yang menyebabkan perbedaan output SSM lapisan pertama diselesaikan dengan mencocokkan batas promosi BF16 ke FP32 NVIDIA, meningkatkan kesamaan kosinus menjadi 0,999998.
Kepala output BF16 adalah wajib; mengkuantisasi lm_head 131k-vocab pada 4-bit menghasilkan sampah yang berulang.
Penulis mencatat bahwa checkpoint 5-bit berjalan mendekati batas memori 64GB, menyarankan bahwa konfigurasi dengan memori lebih tinggi mungkin menghasilkan hasil yang berbeda.