llama.cpp की b9840 रिलीज में DeepSeek V4 मॉडल के लिए कन्वर्जन सपोर्ट पेश किया गया है, जिसमें Pro वेरिएंट के लिए विशेष हैंडलिंग भी शामिल है। इस अपडेट ने लाइब्रेरी में नई आर्किटेक्चर को विभिन्न इंटरनल ऑप्टिमाइज़ेशन और बग फिक्स के साथ एकीकृत किया है।
- dsv4 कन्वर्जन, llm_graph_input_dsv4, और सेव-लोड स्टेट फंक्शनलिटी जोड़ी गई।
- आवश्यक पैडिंग और ग्राफ़ रीयूज़ मेकेनिज्म के साथ Flash Attention (FA) को सक्षम किया गया।
- मल्टी-सीक्वेंस प्रोसेसिंग और आंशिक चेकपॉइंटिंग क्षमताओं का समर्थन किया गया।
- CPU, GPU, और ROCm, SYCL, OpenVINO जैसे विशेष एक्सेलेरेटर्स के लिए macOS, Linux, Android, Windows, और openEuler के लिए बाइनरीज़ जारी की गईं।
इस रिलीज से उपयोगकर्ता विभिन्न हार्डवेयर कॉन्फ़िगरेशन पर llama.cpp का उपयोग करके DeepSeek V4 मॉडल्स को स्थानीय रूप से चला सकते हैं।