يشارك شخص غير مبرمج تجربته في إعداد بنية نموذج لغوي كبير (LLM) محلي على جهاز MacBook M5 Max مزود بذاكرة موحدة سعة 128 جيجابايت. يوضح المستخدم تفاصيل مجموعة البرمجيات الخاصة به، واختيار النماذج، وأهدافه لتعلم الذكاء الاصطناعي مع إنشاء نظام مستقر يمكن الوصول إليه عن بُعد.
- العتاد: MacBook M5 Max (معالج مركزي 18 نواة، معالج رسومي 40 نواة، ذاكرة موحدة 128 جيجابايت، تخزين 4 تيرابايت) يعمل بنظام OS Tahoe.
- مجموعة الاستدلال: Docker Desktop مع Docker Model Runner للوصول الكامل إلى GPU Metal و Open WebUI عبر Docker Compose.
- النماذج: Gemma 4 (~12B) للاستخدام اليومي و Qwen3 30B-A3B-Q4_k_m للبحث العميق.
- تنفيذ RAG: تضمينات SentenceTransformers مع مجموعات معرفة متعددة قائمة على الموضوعات تحتوي على ملفات markdown مكتوبة بالذكاء الاصطناعي وملفات PDF من الشركات المصنعة.
- أدوات إضافية: DrawThings لتوليد الصور/الفيديو، و MacWhisper Pro للنسخ، و Kokoro TTS للإخراج الصوتي المحلي.
يهدف المؤلف إلى الانتقال من استخدام خدمات السحابة مثل Claude Pro إلى استخدام إعداده المحلي بشكل متكرر مع الاستمرار في التعلم حول أمان الذكاء الاصطناعي والأنظمة الوكيلية.