llama.cpp b10814 रिलीज़ ने नौ नए तत्ववार एकल-आर्गी (unary) ऑपरेशन्स जोड़कर और डेटा-मूवमेंट kernels को बेहतर बनाकर OpenCL बैकएंड समर्थन का विस्तार किया है।

  • CPU फॉलबैक से बचने के लिए sgn, step, elu, hardswish, hardsigmoid, floor, ceil, round और trunc सहित विस्तृत तत्ववार एकल-आर्गी ऑपरेशन्स जोड़े गए।
  • रैखिक स्थानांतरण के लिए पूरे डिवाइस पर वितरित एक सतत f32 कॉपी kernel लागू किया गया, जिसने कम लंबी पंक्तियों वाले टेन्सरों के लिए प्रदर्शन को अनुकूलित किया।
  • विशिष्ट प्रकार के बजाय तत्व आकार पर kernels को कुंजीबद्ध करके CONCAT समर्थन को सभी आसानी से कॉपी होने वाले प्रकारों (f16, bf16, i8, i16, i32, i64) तक विस्तारित किया गया।

इन बदलावों ने macOS, Linux, Windows और Android पर गैर-CPU बैकएंड्स के लिए OpenCL कवरेज और दक्षता को बेहतर बनाया है।