비프로그래머가 128GB 통합 메모리가 탑재된 MacBook M5 Max에서 로컬 대규모 언어 모델 인프라를 설정하는 경험을 공유합니다. 사용자는 학습을 위한 소프트웨어 스택, 모델 선택, 안정적이고 원격으로 접근 가능한 시스템을 구축하면서 AI를 배우기 위한 목표를 자세히 설명합니다.
- 하드웨어: OS Tahoe 실행 중인 MacBook M5 Max (18코어 CPU, 40코어 GPU, 128GB 통합 메모리, 4TB 저장소)
- 추론 스택: 전체 Metal GPU 접근 및 Docker Compose를 통한 Open WebUI를 위한 Docker Desktop 및 Docker Model Runner
- 모델: 일상 사용을 위한 Gemma 4 (~12B) 및 심층 연구를 위한 Qwen3 30B-A3B-Q4_k_m
- RAG 구현: AI 작성 markdown 파일과 제조사 PDF가 포함된 여러 주제별 지식 컬렉션이 있는 SentenceTransformers 임베딩
- 추가 도구: 이미지/영상 생성을 위한 DrawThings, 음성 전사를 위한 MacWhisper Pro, 로컬 음성 출력을 위한 Kokoro TTS
저자는 Claude Pro와 같은 클라우드 서비스에서 전환하여 AI 보안 및 에이전트 시스템에 대한 학습을 계속하면서 로컬 설정을 더 자주 활용하는 것을 목표로 합니다.