Un usuario pidió a Codex que optimizara el tiempo de ejecución de oMLX para el modelo afín DeepSeek V4 Flash de 8 bits de 302 GB, lo que resultó en ganancias significativas de rendimiento en un Mac Studio M3 Ultra. Los cambios permiten núcleos Metal nativos de DeepSeek MoE y reemplazan la ordenación genérica de rutas con caminos de cubetas/recuento.

  • La velocidad de preprocesamiento aumentó de ~300 tok/s a ~533 tok/s para un prompt de 12K.
  • La velocidad de decodificación mejoró de ~7,31 tok/s a ~20-22 tok/s en pruebas controladas.
  • Las ejecuciones reales de Hermes con contexto de 80K-120K mantuvieron velocidades de decodificación alrededor de 19,5-20,7 tok/s.
  • La optimización añade instanciaciones de núcleos Metal afines de 8 bits y núcleos de decodificación indexados por ruta para reducir la sobrecarga.

El autor busca verificación comunitaria de que los cambios no causan una pérdida significativa de precisión, señalando que los pesos y los formatos de cuantización permanecen sin cambios.