github llama.cpp · 1 jam lalu · inference

llama.cpp b10532 menambahkan dekuantisasi KV Metal untuk Flash Attention

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10532, memperkenalkan tahap pra-pemrosesan pada backend Metal yang mendekuantisasi cache Key-Value (KV) terkuantisasi ke F16 sebelum mengeksekusi Flash Attention.

Kernel baru mendekuantisasi tensor KV Q8_0 menjadi buffer scratch F16 yang kontigu, memungkinkan penggunaan kernel Flash Attention F16 yang ada alih-alih dekuantisasi dalam kernel.
Dukungan diperluas untuk mencakup semua jenis KV terkuantisasi yang didukung oleh Metal, termasuk Q4_0, Q4_1, Q5_0, dan Q5_1.
Untuk model berbasis MLA di mana V adalah tampilan K, implementasi melewatkan dekuantisasi V yang redundan dan membaca V dari buffer F16 K.
Verifikasi pada M2 Ultra menunjukkan bahwa perplexity untuk Qwen2.5-0.5B dengan KV q8_0 cocok tepat dengan referensi F16 (PPL 1.0008).

Perubahan ini memungkinkan eksekusi Flash Attention yang efisien pada perangkat Metal dengan memanfaatkan buffer F16 kontigu untuk cache KV terkuantisasi, memastikan kesetaraan akurasi dengan implementasi F16 standar.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b10517 menambahkan optimasi dequantisasi FA untuk Vulkan dan perbaikan

Proyek llama.cpp merilis build b10517, memperkenalkan beberapa peningkatan khusus Vulkan pada jalur dequantisasi flash attention (FA). Perubahan utama termasuk melakukan dequantisasi q8_0 KV sekali di coopmat1, melewati jalur dequantisasi FA pada coopmat2, dan mengecualikan Intel Xe1 dari jalur dequantisasi FA.

github llama.cpp · 20 hari lalu · 35 tayangan

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

Rilis llama.cpp b10208 memperkenalkan dukungan SYCL untuk oneMKL GEMM flash attention, memungkinkan akselerasi perangkat keras XMX untuk pemrosesan prompt. Perubahan ini secara signifikan meningkatkan kecepatan inferensi pada GPU Intel Arc dengan memanfaatkan kernel MKL alih-alih jalur TILE default.

github llama.cpp · 29 hari lalu · 26 tayangan

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.

github llama.cpp · baru saja Langsung

Rilis llama.cpp b10538 dengan cache KV yang didekuantisasi untuk batch besar

Proyek llama.cpp telah merilis versi b10538, memperkenalkan optimasi kunci pada backend metal. Pembaruan ini memungkinkan dekuantisasi cache kunci-nilai (KV) secara eksklusif untuk ukuran batch yang besar.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10533 menambahkan fallback elegan untuk pola regex skema JSON yang tidak didukung

Proyek llama.cpp telah merilis build b10533, yang mencakup perbaikan untuk menangani pola ekspresi reguler yang tidak didukung dalam skema JSON secara elegan.