Pembaruan terbaru pada llama.cpp memperkenalkan beberapa peningkatan untuk perangkat keras SYCL/Intel, termasuk peningkatan kinerja dan dukungan fitur baru.

  • Flash Attention dengan mesin XMX melalui API grafik oneDNN kini tersedia untuk arsitektur Xe2, secara signifikan mempercepat kecepatan prefill untuk model seperti Qwen3.6-27b-Q8_0.
  • Basis kode sekarang mendukung tipe operasi XIELU dan menambahkan dukungan fp16 untuk kernel conv2d_dw.
  • Perbaikan termasuk meningkatkan ukuran buffer minimum untuk alokasi sistem USM dan memperbaiki kesalahan dalam operasi get_rows untuk kuantisasi Q2_K, Q4_K, dan Q5_K.

Perubahan-perubahan ini meningkatkan kompatibilitas dan kinerja bagi pengguna yang menjalankan llama.cpp pada GPU Intel menggunakan backend SYCL.