llama.cpp प्रोजेक्ट ने संस्करण b10437 जारी किया, जिसमें MiniMax-Text-01 और MiniMax-M1 कारणभावी भाषा मॉडलों के लिए स्थानीय समर्थन पेश किया गया है। इस अपडेट में llama.cpp फ्रेमवर्क के भीतर इन विशिष्ट मॉडल को चलाने के लिए आवश्यक रूपांतरण स्क्रिप्ट, चैट टेम्पलेट और मॉडल आर्किटेक्चर कार्यान्वयन शामिल हैं।
- मॉडल परत में `MiniMaxText01ForCausalLM` और `MiniMaxM1ForCausalLM` के लिए समर्थन जोड़ा गया।
- नमूना प्रक्रिया में बाधा से बचने के लिए शून्य मानों वाले एम्बेडिंग्स के लिए टोकन दमन लागू किया गया।
- स्थिति ट्रांसपोज़ ऑपरेशन को हटाकर और संक्षिप्त कार्यान्वयन के लिए सामान्य फ़ंक्शंस का उपयोग करके प्रदर्शन को अनुकूलित किया गया।
- MiniMax-M1 के लिए विशेष रूप से एक Jinja चैट टेम्पलेट जोड़ा गया।
- CPU, GPU और विभिन्न त्वरकों पर macOS, Linux, Windows, Android और openEuler के लिए बिल्ड आर्टिफैक्ट शामिल किए गए।
यह रिलीज़ उपयोगकर्ताओं को llama.cpp की मौजूदा इनफ़्रस्ट्रक्चर का उपयोग करके स्थानीय रूप से MiniMax मॉडल चलाने में सक्षम बनाती है।