llama.cpp प्रोजेक्ट ने संस्करण b10032 जारी किया, जिसमें GGML_OP_LIGHTNING_INDEXER ऑपरेशन के लिए एक नया CUDA कार्यान्वयन पेश किया गया है। इस अपडेट में NVIDIA हार्डवेयर पर इंडेक्सिंग कार्यों को संभालने के लिए सामान्य वेक्टर और WMMA kernels शामिल हैं।
- CUDA lightning indexer सामान्य वेक्टर और WMMA kernels का उपयोग करता है।
- स्थिरांक की दोहराव कम करने के लिए टेम्पलेट पैरामीटर WARPS_PER_BLOCK और K_VECS_PER_BLOCK जोड़े गए।
- Turing GPUs को सपोर्ट करने के लिए MMA आर्किटेक्चर आवश्यकताओं को ढीला किया गया।
- Q और K टेंसरों के लिए एलाइनमेंट जांच कार्यान्वयन में जोड़ी गई।
- फंक्शन ggml_cuda_op_lightning_indexer को ggml_cuda_lightning_indexer में पुनर्नामित किया गया।
इस रिलीज में CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL और अन्य backends के लिए macOS, Linux, Windows, Android और openEuler के लिए बाइनरी प्रदान की गई हैं।