Rilis llama.cpp b10956 memperkenalkan algoritma radix select untuk backend SYCL guna menangani nilai k besar dalam operasi TOP_K, yang sebelumnya jatuh kembali ke CPU untuk k > 32. Perubahan ini memungkinkan pemrosesan berpusat pada GPU untuk k besar dengan menggunakan lewati berbasis histogram yang menjaga jejak memori lokal bersama tetap independen dari k.

  • Implementasi baru mendukung nilai k hingga 2048 dan lebih jauh, menghilangkan perjalanan bolak-balik backend untuk operasi seperti pengindeks perhatian-sparse milik qwen4exp.
  • Peningkatan kinerja mencakup percepatan 4.98x pada ne=[131072,1] dengan k=2048 dan eksekusi hingga 118x lebih cepat dalam konfigurasi batch tertentu dibandingkan dengan jatuh kembali ke CPU.
  • Pengujian end-to-end pada 3x Arc Pro B60 dengan Qwen3.8-Flash-Next menunjukkan peningkatan throughput dari 5.91 menjadi 6.05 t/s pada d=131072, dengan perplexity tetap tidak berubah.
  • Rilis ini mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend CPU, CUDA, ROCm, Vulkan, OpenVINO, dan SYCL.

Pembaruan ini mengaktifkan operasi top_k k besar yang efisien pada perangkat SYCL, mencegah hambatan kinerja pada model yang memerlukan nilai k tinggi untuk pemilihan token.