github llama.cpp · baru saja · inference

llama.cpp b10908 memperbaiki thread idle di kernel iq mul_mv Metal

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10908, yang mencakup perbaikan untuk thread idle di kernel iq mul_mv yang tersisa untuk ne00 < 1024. Perubahan ini menggeneralisasi logika pemisahan baris ke enam kernel spesifik: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s, dan iq3_s.

Perbaikan menangani kasus di mana baris memiliki kurang dari 32 chunk, memungkinkan thread berbagi chunk dan mengambil irisan baris.
Ini menggeser penunjuk baris src0 sekali di kernel iq mul_mv karena q2, dh, sc, qh, dan tanda berasal dari xr.
Implementasi menggabungkan pemisahan baris iq mul_mv ke offset0 untuk menjaga x dan penunjuk turunannya di jalur yang ada.

Rilis ini menyediakan biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai arsitektur termasuk CPU, CUDA, ROCm, Vulkan, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10907 memperbaiki alokasi cache kv konteks MTP untuk deepseek2, glm4moe, cohere2moe

Proyek llama.cpp merilis versi b10907, yang mencakup perbaikan untuk alokasi cache kunci-nilai konteks Multi-Token Prediction (MTP). Pembaruan ini mengatasi masalah yang memengaruhi arsitektur deepseek2, glm4moe, dan cohere2moe.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10905 menyetel Flash Attention untuk AMD RDNA4 dan merevisi log stream-k

Proyek llama.cpp merilis build b10905, yang mencakup penyetelan spesifik Flash Attention untuk CUDA/HIP pada arsitektur gfx1201. Pembaruan ini berfokus pada mengoptimalkan kinerja untuk GPU AMD RDNA4.

github llama.cpp · 1 hari lalu · 5 tayangan

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

Proyek llama.cpp telah merilis build b10888, yang mencakup fitur baru untuk menambahkan label debug buffer perintah untuk profiler GPU di backend Vulkan.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x

Proyek llama.cpp merilis build b10886, yang memperkenalkan dukungan intrinsik vektor Q1_0 untuk arsitektur s390x. Pembaruan ini mencakup implementasi `ggml_vec_dot_q1_0_q8_0` dan memperbarui dokumentasi untuk mencerminkan kemampuan baru.

github llama.cpp · 2 hari lalu · 2 tayangan

llama.cpp b10883 memperbaiki perkalian matriks Vulkan dan memulihkan optimasi Ampere

Proyek llama.cpp merilis build b10883, yang mencakup pembaruan signifikan pada backend Vulkan. Perubahan utama melibatkan penggunaan konstanta spesifikasi untuk operasi perkalian matriks-matriks tipe A guna meningkatkan kompilasi shader dan kinerja.