llama.cpp प्रोजेक्ट ने DeepSeek V3.2 और V4 मॉडल द्वारा उपयोग किए जाने वाले लाइटनिंग इंडेक्सर को लागू करने के लिए ggml में एक नई `GGML_OP_LIGHTNING_INDEXER` ऑपरेशन पेश की है।
- इसमें ऑपरेटर से स्केल पैरामीटर हटा दिए गए हैं और f16 मास्क पैरामीटर जोड़ा गया है।
- इसमें लाइटनिंग इंडेक्सर मास्क ब्रॉडकास्टिंग के लिए ठीक किए गए हैं और इनपुट टेंसर के न तोड़े जाने की जांच की गई है।
- नई ऑपरेशन की पुष्टि करने के लिए परीक्षण जोड़े गए हैं, जिनमें बैंडविड्थ की गणना के बजाय FLOPs की गणना की गई है।
- `llama` घटक अब DeepSeek V3.2 और DeepSeek V4 मॉडल के लिए इस नए ऑपरेटर का उपयोग कर रहा है।
यह अपडेट llama.cpp फ्रेमवर्क के भीतर DeepSeek की नवीनतम आर्किटेक्चर के लिए कुशल इनफरेंस समर्थन सक्षम बनाता है।