llama.cpp b9901, Intel B70의 SYCL GPU 활용도 개선

llama.cpp 프로젝트는 버전 b9901을 출시했으며, 이는 Intel 하드웨어에서 성능을 향상시키기 위해 SYCL 백엔드에 대한 특정 업데이트를 포함합니다. 이 릴리스는 CPU, CUDA, ROCm, Vulkan 및 기타 백엔드를 위한 macOS, Linux, Windows, Android, openEuler용 바이너리를 제공합니다.

• GPU 활용도를 개선하기 위해 DMMV 경로에서 K_QUANTS_PER_ITERATION을 1로 설정합니다.
• 재정렬 기능을 활성화하기 위해 ggml_sycl_supports_reorder_dmmv 게이트를 수정했습니다.
• 적절한 할당을 보장하기 위해 ggml_backend_sycl_buffer_init_tensor에 누락된 타입을 추가했습니다.
• SYCL 작업에서 QK_5의 QK_WARP_SIZE를 WARP_SIZE로 교체했습니다.

이러한 변경으로 Intel B70 GPU에서의 초당 토큰 수(tg t/s)가 크게 향상되었습니다.