一名用户要求 Codex 优化 oMLX 运行时以支持 302GB 的 DeepSeek V4 Flash 8-bit 仿射模型，在 Mac Studio M3 Ultra 上实现了显著的性能提升。这些更改启用了原生 DeepSeek MoE Metal 内核，并将通用的路由排序替换为桶/计数路径。

  • 对于 12K 提示，预填充速度从 ~300 tok/s 提升至 ~533 tok/s。
  • 在受控基准测试中，解码速度从 ~7.31 tok/s 提升至 ~20-22 tok/s。
  • 在真实场景中，使用 80K-120K 上下文的 Hermes 运行保持了约 19.5-20.7 tok/s 的解码速度。
  • 该优化增加了 8-bit 仿射 Metal 内核实例化和路由索引解码内核，以减少开销。

作者寻求社区验证这些更改未导致有意义的精度损失，并指出权重和量化格式保持不变。