Evaluación del Mac M5 Max de 128GB para inferencia de IA local

Un usuario evalúa un MacBook Pro con chip M5 Max de 128GB para medir su rendimiento al ejecutar varios modelos de lenguaje grande locales. Las pruebas abarcan familias de modelos como Gemma 4, Qwen 3.6, MiniMax M2.7 y Mistral Medium 3.5 en diferentes formatos de cuantización y longitudes de contexto.

• Gemma 4 E4B logró un prellenado (PP) de 4.748 y una generación de tokens (TG) de 85,0 usando MLX de 8 bits, en comparación con 3.974 PP y 76,1 TG con GGUF Q8.
• Qwen 3.6 27B funcionó a 706 PP y 17,2 TG con MLX Q8, mientras que la variante 35B A3B alcanzó 2.153 PP y 79,4 TG con un contexto de 128K.
• La decodificación especulativa con Draft MTP n=2 redujo el tiempo de generación para Qwen 27B de 75s a 62s.
• Configuraciones multiagente que utilizan Qwen 27B y 35B A3B completaron una tarea de construcción de sitios en 233s, superando al control de modelo único que tardó 537s.
• Se probaron modelos grandes como Mistral Medium 3.5 128B y DS4 DeepSeek V4 Flash, logrando Qwen 3.6 Flash 452 PP y 45,2 TG.

Los resultados proporcionan datos empíricos sobre la capacidad del hardware para manejar diversos tamaños de modelos y tareas de inferencia complejas localmente.