기여자가 PR #1535를 통해 mlx-lm에 네이티브 `nemotron_h_puzzle` 지원을 추가하여, Nemotron Puzzle 75B 모델을 64GB M2 Max에서 실행할 수 있게 했습니다. 이 작업에는 블록 단위 구성 지원 수정, 텐서 재매핑, 그리고 NVIDIA의 FP32 정규화/라우터 동작 정렬이 포함되었습니다.

  • 4비트 전문가 양자화(6비트 밀집 레이어와 BF16 출력 헤드 포함)는 42.03 GiB 체크포인트 크기를 사용하며 최대 49.68 GB 메모리를 차지합니다.
  • 4비트 구성은 평균 생성 속도가 14.27 tok/s로, 5비트 변형의 10.53 tok/s보다 빠릅니다.
  • 로컬 태스크 체크에서 4비트는 24/30점을 받아 5비트의 21/30점보다 높았으며, 장문 컨텍스트 검색은 4/5 대 0/5였습니다.
  • 첫 번째 레이어 SSM 출력 불일치를 유발하던 버그가 NVIDIA의 BF16-to-FP32 승격 경계를 일치시킴으로써 해결되었으며, 코사인 유사도는 0.999998로 개선되었습니다.
  • BF16 출력 헤드는 필수이며, 4비트로 131k 어휘 lm_head를 양자화하면 반복적인 잡음이 생성됩니다.

저자는 5비트 체크포인트가 64GB 메모리 한계 근처에서 실행된다고 언급하며, 더 높은 메모리 구성이 다른 결과를 낼 수 있음을 시사합니다.