Avaliando o Mac com M5 Max de 128GB para inferência de IA local

Um usuário avalia um MacBook Pro com M5 Max de 128GB para medir seu desempenho ao executar vários modelos de linguagem grandes locais. Os testes abrangem famílias de modelos, incluindo Gemma 4, Qwen 3.6, MiniMax M2.7 e Mistral Medium 3.5, em diferentes formatos de quantização e comprimentos de contexto.

• O Gemma 4 E4B atingiu um pré-preenchimento (PP) de 4.748 e geração de tokens (TG) de 85,0 usando MLX 8-bit, comparado a 3.974 PP e 76,1 TG com GGUF Q8.
• O Qwen 3.6 27B rodou a 706 PP e 17,2 TG com MLX Q8, enquanto a variante 35B A3B atingiu 2.153 PP e 79,4 TG em contexto de 128K.
• A decodificação especulativa com Draft MTP n=2 reduziu o tempo de geração para o Qwen 27B de 75s para 62s.
• Configurações multi-agente usando Qwen 27B e 35B A3B concluíram uma tarefa de construção de site em 233s, superando o controle com modelo único, que levou 537s.
• Modelos grandes como Mistral Medium 3.5 128B e DS4 DeepSeek V4 Flash foram testados, com o Qwen 3.6 Flash atingindo 452 PP e 45,2 TG.

Os resultados fornecem dados empíricos sobre a capacidade do hardware de lidar com diversos tamanhos de modelos e tarefas complexas de inferência local.