एक गैर-प्रोग्रामर 128GB एकत्रीकृत मेमोरी वाले MacBook M5 Max पर स्थानीय बड़े भाषा मॉडल (LLM) इंफ्रास्ट्रक्चर सेटअप करने के अपने अनुभव को साझा करता है। उपयोगकर्ता स्थिर, दूरस्थ रूप से सुलभ सिस्टम स्थापित करते हुए AI सीखने के अपने उद्देश्यों, मॉडल चयनों और सॉफ़्टवेयर स्टैक का विवरण देते हैं।
- हार्डवेयर: OS Tahoe चला रहा MacBook M5 Max (18-कोर CPU, 40-कोर GPU, 128GB एकत्रीकृत मेमोरी, 4TB स्टोरेज)।
- इनफरेंस स्टैक: पूरा Metal GPU एक्सेस के लिए Docker Model Runner के साथ Docker Desktop और Docker Compose के माध्यम से Open WebUI।
- मॉडल: दैनिक उपयोग के लिए Gemma 4 (~12B) और गहन शोध के लिए Qwen3 30B-A3B-Q4_k_m।
- RAG कार्यान्वयन: AI द्वारा लिखे गए markdown फ़ाइलों और निर्माता PDFs वाले कई विषय-आधारित ज्ञान संग्रहों के साथ SentenceTransformers एम्बेडिंग्स।
- अतिरिक्त उपकरण: छवि/वीडियो जनरेशन के लिए DrawThings, ट्रांसक्रिप्शन के लिए MacWhisper Pro और स्थानीय आउटपुट के लिए Kokoro TTS।
लेखक का उद्देश्य Claude Pro जैसे क्लाउड सेवाओं का उपयोग करने से अपने स्थानीय सेटअप का अधिक बार उपयोग करने की ओर बढ़ना है, जबकि AI सुरक्षा और एजेंटिक सिस्टम के बारे में सीखते रहना है।