在 MacBook M5 Pro 上运行本地 LLM - 完全的新手！

一位非程序员分享了在配备 128GB 统一内存的 MacBook M5 Max 上设置本地大型语言模型基础设施的经验。用户详细介绍了他们的软件栈、模型选择以及在学习 AI 的同时建立稳定、可远程访问系统的目标。

• 硬件：MacBook M5 Max（18核 CPU，40核 GPU，128GB 统一内存，4TB 存储）运行 OS Tahoe。
• 推理栈：Docker Desktop 配合 Docker Model Runner 以完全访问 Metal GPU，并通过 Docker Compose 使用 Open WebUI。
• 模型：Gemma 4（约 12B）用于日常使用，Qwen3 30B-A3B-Q4_k_m 用于深度研究。
• RAG 实现：SentenceTransformers 嵌入，包含多个基于主题的集合，内含 AI 编写的 markdown 文件和制造商 PDF。
• 其他工具：DrawThings 用于图像/视频生成，MacWhisper Pro 用于转录，Kokoro TTS 用于本地语音输出。

作者的目标是从频繁使用 Claude Pro 等云服务转向更频繁地使用其本地设置，同时继续学习 AI 安全和智能体系统。