llama.cpp प्रोजेक्ट ने संस्करण b11214 जारी किया है, जिसमें HIP backend के लिए एक महत्वपूर्ण अपडेट शामिल है। यह रिलीज dkq > 256 होने पर CDNA आर्किटेक्चर पर fattn-mma kernel सक्षम करती है, विशेष रूप से बड़े बैच साइज़ के लिए प्रदर्शन सुधारों को लक्षित करती है।

  • HIP backend अब CDNA हार्डवेयर पर dkq > 256 के लिए fattn-mma kernel का समर्थन करता है।
  • hip-quality-check के लिए CI जाँचें बहुत बड़े mfma mma kernels के लिए spills को नज़रअंदाज करने के लिए अपडेट की गई हैं।
  • macOS (Apple Silicon और Intel), Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android और openEuler के लिए बाइनरी प्रदान की गई हैं।

यह अपडेट AMD CDNA GPUs पर llama.cpp चला रहे उपयोगकर्ताओं को बड़े बैच साइज़ के लिए अनुकूलित ध्यान kernels का उपयोग करने की अनुमति देता है।