llama.cpp प्रोजेक्ट ने संस्करण b10241 जारी किया, जो CUDA बैकएंड में एक महत्वपूर्ण बग को संबोधित करता है। अपडेट ब्लॉक रिडक्शन के दौरान साझा मेमोरी (SMEM) को पुनः उपयोग करते समय होने वाले डेटा-रेस को हल करता है।

  • डेटा-रेस को रोकने के लिए block_reduce में SMEM से पढ़ने के बाद रि-sync की कमी को ठीक किया।
  • सिंगल-रो सॉफ्टमैक्स और नॉर्मलाइजेशन ऑपरेशंस के लिए डबल-बफरिंग लागू की।
  • मल्टी-वार्प परिदृश्यों के लिए विशेष रूप से व्याख्यात्मक टिप्पणियों और मेमोरी बैरियर्स जोड़े गए।
  • CPU, CUDA, Vulkan, ROCm और अन्य बैकएंड्स के लिए macOS, Linux, Windows, Android और iOS के लिए बाइनरी प्रदान किए।