LLM Lokal di MacBook M5 Pro - Sama Sekali Baru Dalam Ini!

Seorang non-pemrogram berbagi pengalamannya dalam menyiapkan infrastruktur Model Bahasa Besar (LLM) lokal di MacBook M5 Max dengan memori terpadu 128GB. Pengguna mendetailkan tumpukan perangkat lunaknya, pemilihan model, dan tujuannya untuk belajar AI sambil membangun sistem yang stabil dan dapat diakses secara jarak jauh.

• Perangkat Keras: MacBook M5 Max (CPU 18-core, GPU 40-core, memori terpadu 128GB, penyimpanan 4TB) menjalankan OS Tahoe.
• Tumpukan Inferensi: Docker Desktop dengan Docker Model Runner untuk akses GPU Metal penuh dan Open WebUI melalui Docker Compose.
• Model: Gemma 4 (~12B) untuk penggunaan sehari-hari dan Qwen3 30B-A3B-Q4_k_m untuk penelitian mendalam.
• Implementasi RAG: Embeddings SentenceTransformers dengan beberapa koleksi pengetahuan berbasis topik yang berisi file markdown yang ditulis AI dan PDF pabrikan.
• Alat Tambahan: DrawThings untuk generasi gambar/video, MacWhisper Pro untuk transkripsi, dan Kokoro TTS untuk output suara lokal.

Penulis bertujuan untuk beralih dari layanan cloud seperti Claude Pro untuk memanfaatkan pengaturan lokalnya lebih sering sambil terus belajar tentang keamanan AI dan sistem agentic.