llama.cpp b9928 में hexagon के लिए VTCM layouts और MUL_MAT, MUL_MAT_ID तथा FLASH_ATTN_EXT के लिए बेहतर pipelines जोड़े गए

llama.cpp प्रोजेक्ट ने संस्करण b9928 जारी किया है, जिसमें hexagon backend के लिए नए VTCM layouts और बेहतर pipelines पेश किए गए हैं। ये बदलाव विशेष रूप से MUL_MAT, MUL_MAT_ID और FLASH_ATTN_EXT ऑपरेशन के लिए प्रदर्शन में सुधार को लक्षित करते हैं।

• common layout builder का उपयोग करने के लिए kernel पैरामीटर गणना को पुनर्लेखित किया गया।
• hmx फ़ंक्शंस को अधिक मजबूत बनाने के लिए explicit compiler barriers जोड़े गए।
• matrix multiplication और flash-attn kernels के लिए एक अधिक सामान्य VTCM layout builder लागू किया गया।
• compiler समस्याओं से बचने के लिए inner kernels को unrolled किया गया और intrinsics को inline assembly से बदल दिया गया।
• DMA pipelines, prefetching और synchronization fallback paths को अनुकूलित किया गया।
• workpool में hybrid polling जोड़ा गया और queue wakeup तंत्रों में सुधार किया गया।

रिलीज में CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL और HIP सहित विभिन्न hardware backends के लिए macOS (Apple Silicon और Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Android, Windows और openEuler के लिए binaries प्रदान की गई हैं।