एक उपयोगकर्ता ने Codex से 302GB के DeepSeek V4 Flash 8-bit एफ़ाइन मॉडल के लिए oMLX रनटाइम को अनुकूलित करने का अनुरोध किया, जिसके परिणामस्वरूप Mac Studio M3 Ultra पर महत्वपूर्ण प्रदर्शन लाभ हुए। परिवर्तनों ने नेटिव DeepSeek MoE मेटल kernels को सक्षम किया और सामान्य मार्ग सॉर्टिंग को बकेट/काउंटिंग पथों से बदला।
- 12K प्रॉम्प्ट के लिए प्रीफिल गति ~300 tok/s से बढ़कर ~533 tok/s हो गई।
- नियंत्रित बेंचमार्क्स में डिकोड गति ~7.31 tok/s से सुधरकर ~20-22 tok/s हो गई।
- 80K-120K संदर्भ के साथ वास्तविक Hermes रन ने डिकोड गति को लगभग 19.5-20.7 tok/s पर बनाए रखे।
- अनुकूलन ने ओवरहेड कम करने के लिए 8-bit एफ़ाइन मेटल kernel इंस्टेंसीकरण और मार्ग-इंडेक्स्ड डिकोड kernels जोड़े।
लेखक समुदाय से पुष्टि चाहता है कि परिवर्तनों से कोई महत्वपूर्ण सटीकता हानि नहीं होती, यह नोट करते हुए कि वजन और क्वांटीकरण फॉर्मेट अपरिवर्तित रहते हैं।