llama.cpp प्रोजेक्ट ने build b11284 जारी किया है, जिसमें quantized weight views पर GETROWS ऑपरेशन को सही ढंग से हैंडल करने के लिए OpenVINO backend में एक सुधार शामिल है।
- अपडेट के दौरान weight Constants को इकट्ठा करते समय view_src को ठीक किया गया है, जिससे quantized weights पर बनाए गए views dynamic typed Parameters में नहीं बदलते हैं।
- अब view का row offset gather indices में एकीकृत कर दिया गया है, न कि dequantization subgraph को slice करने के बजाय।
- इस परिवर्तन से nonzero offsets वाले quantized src0 views के अस्वीकार होने की प्रक्रिया हट गई है, जिससे वे OpenVINO के साथ काम कर सकते हैं।
इस रिलीज में CPU, GPU (CUDA, Vulkan, ROCm, SYCL), और NPU backends के लिए macOS, Linux, Windows, Android, और openEuler के लिए binaries प्रदान किए गए हैं।