llama.cpp b9893 mengoptimalkan kinerja decode flash attention OpenCL

Proyek llama.cpp merilis versi b9893, memperkenalkan optimisasi kinerja umum untuk decoding flash attention OpenCL. Pembaruan ini menambahkan kernel decode flash-attention tervektorisasi untuk format cache KV f16, q8_0, dan q4_0 serta meningkatkan kernel perkalian matriks KQ non-flash-attention.

• Operasi decode DK=512 dialihkan ke CPU karena dibatasi bandwidth dan lebih cepat di sana daripada di GPU seiring bertambahnya kedalaman.
• Kernel flash attention multiquery dikompilasi dalam program minimal untuk mencegah kompiler Adreno kehabisan memori pada dimensi yang lebih besar.
• Ukuran split default untuk decode f16-KV dikurangi dari 2048 menjadi 512 untuk memanfaatkan sumber daya GPU dengan lebih baik pada beban kerja single-query.
• Perbaikan crash menangani pembacaan di luar rentang ketika block_n tidak disetel untuk skenario decode DK=512.

Rilis ini mencakup biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend CPU, CUDA, Vulkan, ROCm, dan lainnya.