llama.cpp प्रोजेक्ट ने बिल्ड b10883 जारी किया, जिसमें Vulkan बैकएंड के लिए महत्वपूर्ण अपडेट शामिल हैं। प्राथमिक परिवर्तन में शैडर कंपाइलेशन और प्रदर्शन को बेहतर बनाने के लिए मैट्रिक्स-मैट्रिक्स गुणा A-टाइप ऑपरेशन्स के लिए स्पेक कॉन्स्टेंट का उपयोग शामिल है।

  • Vulkan शैडर्स में mul mat type_a के लिए स्पेक कॉन्स्टेंट का उपयोग करें।
  • साझा मेमोरी टेबल को संघनित करें और टाइप स्पेक कॉन्स्टेंट द्वारा आकार कम करें।
  • Ampere रीग्रेशन को ठीक करने के लिए coopmat2 q4_k/q5_k अनुकूलन को पुनर्स्थापित करें और शैडर को अलग करें।
  • cm2 मैटमुल में गायब Q2_0 टाइप को ठीक करें और f16 Intel ट्यूनिंग परिवर्तनों को अनुकूलित करें।
  • न्यूनतम साझा मेमोरी आकार 8 का उपयोग करके cm2 कंपाइलर बग को कामअराउंड करें।

इस रिलीज़ में CPU, GPU और विशेष हार्डवेयर बैकएंड के लिए macOS, Linux, Windows, Android और openEuler के लिए अपडेटेड बाइनरी प्रदान की गई हैं।