MTPLX के पीछे डेवलपर ने टूल का संस्करण 2 जारी किया है, जो Apple Silicon हार्डवेयर पर MLX मॉडल चलाने में महत्वपूर्ण प्रदर्शन सुधार लाता है। अपडेट नए kernel कार्यान्वयनों और cache प्रबंधन विशेषताओं के माध्यम से इनफरेंस गति को अनुकूलित करने पर केंद्रित है।
- Turbo Mode MacBook Pro M5 Max पर प्रति सेकंड 82 tokens प्राप्त करने के लिए custom verify-specialized quantized-matmul kernels और एक compiled verify चरण का उपयोग करता है।
- रिलीज़ में SSD KV cache सिस्टम में महत्वपूर्ण बदलाव शामिल हैं।
- लंबे संदर्भ टूल कॉलिंग क्षमताओं में सुधार किया गया है।
- Ivan Fioravanti ने MTPLX की तुलना oMLX और DGX spark से करने वाले प्रारंभिक benchmarks प्रदान किए।
ये अपडेट स्थानीय बड़े भाषा मॉडलों के लिए उच्च-प्रदर्शन रनटाइम के रूप में MTPLX को स्थापित करने का लक्ष्य रखते हैं, विशेष रूप से Mac उपकरणों पर तेज जनरेशन गति चाहने वाले उपयोगकर्ताओं के लिए।