Rilis llama.cpp b9933 menangani masalah kritis OpenCL yang menyebabkan output rusak untuk bobot terkuantisasi Q6_K ketika dimensi ne01 bukan kelipatan 128. Bug ini memengaruhi model seperti granite-3.1-3b-a800m-instruct, di mana ukuran vocab ganjil memicu penanganan memori yang salah pada GPU Adreno.
Perbaikan mengarahkan perkalian matriks padat menjauh dari jalur noshuffle ketika ne01 % 128 != 0, menggunakan GEMV datar untuk dekoding dan kembali ke CPU untuk bentuk lainnya. Selain itu, rilis ini mengimplementasikan get_alloc_size untuk buffer OpenCL guna memesan slack penyesuaian, mencegah tumpang tindih subbuffer yang secara diam-diam merusak tensor tetangga.
Pembaruan ini memastikan hasil inferensi yang benar pada perangkat dengan kendala penyesuaian tertentu dan mencegah korupsi memori dalam penanganan bobot terkuantisasi.