Un utilisateur a demandé à Codex d'optimiser le runtime oMLX pour le modèle affine 8-bit DeepSeek V4 Flash de 302 Go, ce qui a entraîné des gains de performances significatifs sur un Mac Studio M3 Ultra. Ces modifications permettent l'utilisation de noyaux Metal MoE natifs pour DeepSeek et remplacent le tri de routage générique par des chemins de type bucket/counting.
- La vitesse de préremplissage est passée d'environ 300 tok/s à environ 533 tok/s pour une invite de 12K.
- La vitesse de décodage s'est améliorée d'environ 7,31 tok/s à environ 20-22 tok/s dans des benchmarks contrôlés.
- Les exécutions réelles de Hermes avec un contexte de 80K-120K ont maintenu des vitesses de décodage autour de 19,5-20,7 tok/s.
- L'optimisation ajoute des instanciations de noyaux Metal affines 8-bit et des noyaux de décodage indexés par route pour réduire la surcharge.
L'auteur cherche à obtenir une vérification communautaire indiquant que les modifications ne provoquent pas de perte significative de précision, notant que les poids et les formats de quantification restent inchangés.