llama.cpp b10715 KV cache injection में DFlash encoder को fuse करता है

llama.cpp प्रोजेक्ट ने build b10715 जारी किया, जिसमें DFlash implementation के लिए एक महत्वपूर्ण optimization शामिल है। DFlash encoder अब decoding के दौरान KV cache injection प्रक्रिया में सीधे fuse हो गया है।

पहले, encoder को एक अलग `llama_encode` call के रूप में चलाने से उसके output के लिए device-to-host round trip को मजबूर करना पड़ता था, जिसके बाद injection decode इसे फिर से upload कर सकता था, और हर round के लिए एक second graph build की आवश्यकता होती थी। इस बदलाव ने encoder को decoder के embedding branch में fold कर दिया है, जिससे target features को सीधे एक single `llama_decode` call में feed किया जा सकता है।

यह release macOS (Apple Silicon और Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) और openEuler के लिए binaries प्रदान करता है।