Un no programador comparte su experiencia configurando una infraestructura de Modelo de Lenguaje Grande local en un MacBook M5 Max con 128GB de memoria unificada. El usuario detalla su pila de software, selecciones de modelos y objetivos para aprender IA mientras establece un sistema estable y accesible remotamente.

  • Hardware: MacBook M5 Max (CPU de 18 núcleos, GPU de 40 núcleos, 128GB de memoria unificada, 4TB de almacenamiento) ejecutando OS Tahoe.
  • Pila de inferencia: Docker Desktop con Docker Model Runner para acceso completo a la GPU Metal y Open WebUI vía Docker Compose.
  • Modelos: Gemma 4 (~12B) para uso diario y Qwen3 30B-A3B-Q4_k_m para investigación profunda.
  • Implementación de RAG: incrustaciones de SentenceTransformers con múltiples colecciones de conocimiento basadas en temas que contienen archivos markdown escritos por IA y PDFs del fabricante.
  • Herramientas adicionales: DrawThings para generación de imágenes/video, MacWhisper Pro para transcripción y Kokoro TTS para salida de voz local.

El autor tiene como objetivo pasar de usar servicios en la nube como Claude Pro a utilizar su configuración local con más frecuencia mientras continúa aprendiendo sobre seguridad de IA y sistemas agénticos.