ggml प्रोजेक्ट ने CPUs के लिए Q2_0 क्वांटीज़ेशन समर्थन जोड़ा है, विशेष रूप से Ternary Bonsai मॉडल का उपयोग सक्षम बनाने के लिए। यह अपडेट लाइब्रेरी के भीतर Q1_0, Q2_0, Q4_0 और Q8_0 क्वांटीज़ेशन परिवार को पूरा करता है।
- कार्यान्वयन ARM NEON का समर्थन करता है और एक सामान्य स्केलर फॉलबैक शामिल है।
- यह CPU हार्डवेयर पर 1.7B, 4B और 8B Ternary Bonsai मॉडल चलाने की अनुमति देता है।
- x86, Metal, CUDA और Vulkan बैकएंड भविष्य में सबमिट करने के लिए योजनाबद्ध हैं।
यह जोड़ उपयोगकर्ताओं को संगत CPUs पर नए समर्थित Q2_0 प्रारूप का उपयोग करके Ternary Bonsai मॉडल चलाने की अनुमति देता है।