一位用户对配备128GB内存的M5 Max MacBook Pro进行了基准测试，以评估其运行各种本地大型语言模型的性能。测试涵盖了Gemma 4、Qwen 3.6、MiniMax M2.7和Mistral Medium 3.5等模型系列，并涉及不同的量化格式和上下文长度。

  • Gemma 4 E4B使用MLX 8-bit实现了4,748的预填充（PP）和85.0的令牌生成（TG），而GGUF Q8则为3,974 PP和76.1 TG。
  • Qwen 3.6 27B在MLX Q8下运行速度为706 PP和17.2 TG，而35B A3B变体在128K上下文长度下达到了2,153 PP和79.4 TG。
  • 使用Draft MTP n=2的推测解码将Qwen 27B的生成时间从75秒减少到62秒。
  • 使用Qwen 27B和35B A3B的多智能体设置以233秒完成了建站任务，优于耗时537秒的单模型控制组。
  • 对Mistral Medium 3.5 128B和DS4 DeepSeek V4 Flash等大型模型进行了测试，Qwen 3.6 Flash实现了452 PP和45.2 TG。

这些结果提供了关于该硬件处理不同模型规模和复杂本地推理任务能力的实证数据。