Proyek llama.cpp merilis versi b9901, yang mencakup pembaruan spesifik pada backend SYCL untuk meningkatkan kinerja pada perangkat keras Intel. Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di seluruh backend CPU, CUDA, ROCm, Vulkan, dan lainnya.

  • Mengatur K_QUANTS_PER_ITERATION menjadi 1 pada jalur DMMV untuk meningkatkan utilisasi GPU.
  • Memperbaiki gate ggml_sycl_supports_reorder_dmmv untuk mengaktifkan fitur pengurian ulang.
  • Menambahkan tipe yang hilang ke ggml_backend_sycl_buffer_init_tensor untuk memastikan alokasi yang tepat.
  • Mengganti QK_WARP_SIZE dengan WARP_SIZE untuk QK_5 dalam operasi SYCL.

Perubahan ini menghasilkan peningkatan signifikan pada token per detik (tg t/s) pada GPU Intel B70.