MTPLX 的开发人员发布了该工具的第二个版本，为在 Apple Silicon 硬件上运行 MLX 模型带来了显著的性能提升。此次更新专注于通过新的内核实现和缓存管理功能来优化推理速度。

  • Turbo Mode 利用定制的 verify 专用 quantized-matmul 内核和编译后的 verify 步骤，在 MacBook Pro M5 Max 上实现了每秒 82 个 token。
  • 此次发布对 SSD KV cache 系统进行了重大更改。
  • 长上下文工具调用功能得到了改进。
  • Ivan Fioravanti 提供了将 MTPLX 与 oMLX 和 DGX spark 进行比较的初步基准测试。

这些更新旨在将 MTPLX 确立为本地大型语言模型的高性能运行时，特别是对于在 Mac 设备上寻求更快生成速度的用户。