एक योगदानकर्ता ने PR #1535 के माध्यम से mlx-lm में मूल `nemotron_h_puzzle` समर्थन जोड़ा, जिससे Nemotron Puzzle 75B मॉडल को 64GB M2 Max पर चलाने की सुविधा मिली। इस कार्य में ब्लॉकवाइज़ कॉन्फ़िगरेशन समर्थन, टेंसर रीमैपिंग और NVIDIA के FP32 नॉर्म/राउटर व्यवहार को संरेखित करने की आवश्यकता थी।
- 4-बिट विशेषज्ञ क्वांटीकरण (6-बिट घनी परतों और BF16 आउटपुट हेड के साथ) 42.03 GiB चेकपॉइंट आकार का उपयोग करता है और 49.68 GB मेमोरी पर शीर्ष पहुंचता है।
- 4-बिट कॉन्फ़िगरेशन ने औसत जनरेशन गति 14.27 tok/s हासिल की, जबकि 5-वैरिएंट के लिए यह 10.53 tok/s था।
- स्थानीय कार्य जांच में 4-बिट के लिए 24/30 अंक मिले, जबकि 5-बिट के लिए 21/30 मिले; लंबे संदर्भ की पुनर्प्राप्ति में 4/5 बनाम 0/5 था।
- पहले परत SSM आउटपुट असंगतियों का कारण बनने वाले बग को NVIDIA के BF16-to-FP32 प्रमोशन सीमा को मिलाकर हल किया गया, जिससे कोसाइन समानता 0.999998 तक सुधरी।
- BF16 आउटपुट हेड अनिवार्य है; 4-बिट पर 131k-शब्दावली lm_head का क्वांटीकरण दोहराई जाने वाली गंदगी उत्पन्न करता था।
लेखक ने नोट किया कि 5-बिट चेकपॉइंट 64GB मेमोरी की छत के पास चलता है, जिसका सुझाव है कि उच्च-मेमोरी कॉन्फ़िगरेशन अलग परिणाम दे सकते हैं।