llama.cpp परियोजना ने संस्करण b10675 जारी किया, जिसमें इसके Vulkan backend को एक प्रमुख अपडेट शामिल है। इस रिलीज़ में shader कोड के भीतर row IDs और expert counts के लिए hoisting समर्थन जोड़ा गया है।

  • कार्यान्वयन coopmat2 में hoisted row IDs का उपयोग करता है।
  • यह count_experts के संबंध में समीक्षा प्रतिक्रिया को vk_op_count_experts_push_constants का उपयोग करके हल करता है, कच्चे uint वेक्टरों के बजाय।
  • fastdiv ट्रिक को count_experts में ne00 div/mod ऑपरेशन पर लागू किया गया है।
  • प्रति-expert offset subgroupExclusiveAdd के साथ गणना किए जाते हैं जहाँ समर्थित हो, एक fallback के रूप में serial पथ बनाए रखते हुए।

यह अपडेट macOS, Linux, Windows और Android के लिए विभिन्न हार्डवेयर backends (CUDA, ROCm और OpenCL सहित) पर अनुकूलित Vulkan builds प्रदान करता है।