लेख नई Apple M5 सीरीज के Macs (Mac mini, Mac Studio) में कौन से ओपन लार्ज लैंग्वेज मॉडल फिट होते हैं, इसकी गणना बेंचमार्क चलाने के बजाय मेमोरी बाधाओं का विश्लेषण करके करता है। यह उपयोग्य GPU मेमोरी के सापेक्ष Q4_K_M GGUF फ़ाइल आकारों, KV कैश आवश्यकताओं और रनटाइम ओवरहेड के आधार पर क्षमता निर्धारित करता है।

  • 16 GB Mac mini M6, 8K संदर्भ पर 14 मॉडल और 32K पर 10 मॉडल का समर्थन करता है, जिसमें Gemma 4 12B शीर्ष पसंद है।
  • 24 GB Mac mini M5 Pro, 8K पर 16 मॉडल और 32K पर 14 मॉडल को फिट करता है, जो gpt-oss 20B को प्राथमिकता देता है।
  • 36 GB Mac Studio M5 Max, 8K पर 25 मॉडल और 32K पर 22 मॉडल को समायोजित करता है, जिसमें Qwen3-Coder 30B-A3B पसंदीदा विकल्प है।
  • 96 GB Mac Studio M5 Ultra, संदर्भ लंबाई की परवाह किए बिना 31 मॉडल को धारण करता है, जिसमें Qwen3-Coder Next सबसे बड़ा सुविधाजनक फिट है।

विश्लेषण से पता चलता है कि 16 GB Mac mini एक 12B-क्लास मशीन है जो मॉडल आकार के बजाय संदर्भ विंडो द्वारा सीमित है, जबकि Ultra का बड़ा कैश संदर्भ लंबाई को फिट करने के लिए निरर्थक बना देता है। लेखक ने नोट किया है कि ये आंकड़े जनरेशन गति को नहीं दर्शाते हैं, हालांकि मॉडल के बीच बैंडविड्थ अंतर महत्वपूर्ण हैं।