非プログラマーが、128GBのユニファイドメモリを備えたMacBook M5 Maxでローカル大規模言語モデルインフラストラクチャをセットアップする経験を共有しています。ユーザーは、学習用のソフトウェアスタック、モデル選択、安定してリモートアクセス可能なシステムを構築しながらAIを学ぶための目標について詳しく説明しています。

  • ハードウェア: OS Tahoe上で動作するMacBook M5 Max (18コアCPU、40コアGPU、128GBユニファイドメモリ、4TBストレージ)
  • 推論スタック: フルMetal GPUアクセスとDocker Compose経由のOpen WebUIのためのDocker DesktopおよびDocker Model Runner
  • モデル: 日常使用用のGemma 4 (~12B) と深層研究用のQwen3 30B-A3B-Q4_k_m
  • RAG実装: AIが作成したmarkdownファイルとメーカーPDFを含む複数のトピック別知識コレクションを持つSentenceTransformers埋め込み
  • 追加ツール: 画像/動画生成用のDrawThings、文字起こし用のMacWhisper Pro、ローカル音声出力用のKokoro TTS

著者は、Claude Proなどのクラウドサービスから移行し、AIセキュリティとエージェントシステムについて学びながら、ローカルセットアップをより頻繁に利用することを目指しています。