github llama.cpp · baru saja · inference

llama.cpp b10922 menambahkan kernel biner OpenCL A8 Q4_K

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10922, memperkenalkan kernel biner OpenCL baru untuk perkalian matriks non-MoE A8 Q4_K. Pembaruan ini juga mencakup perbaikan kompatibilitas tata letak dan penamaan ulang pembantu pemilihan kernel biner di dalam basis kode.

Menambahkan kernel OpenCL `kernel_gemm_noshuffle_q4_k_f32_32b_trans_ila_a8_bin`.
Memperbaiki masalah kompatibilitas tata letak di backend OpenCL.
Menamai ulang pembantu pemilihan kernel biner untuk kejelasan.

Rilis ini menyediakan biner yang diperbarui untuk macOS, Linux, Windows, Android, dan iOS di berbagai backend perangkat keras, termasuk CPU, CUDA, Vulkan, ROCm, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10907 memperbaiki alokasi cache kv konteks MTP untuk deepseek2, glm4moe, cohere2moe

Proyek llama.cpp merilis versi b10907, yang mencakup perbaikan untuk alokasi cache kunci-nilai konteks Multi-Token Prediction (MTP). Pembaruan ini mengatasi masalah yang memengaruhi arsitektur deepseek2, glm4moe, dan cohere2moe.

github llama.cpp · 22 jam lalu · 1 tayangan

llama.cpp b10908 memperbaiki thread idle di kernel iq mul_mv Metal

Proyek llama.cpp merilis versi b10908, yang mencakup perbaikan untuk thread idle di kernel iq mul_mv yang tersisa untuk ne00 < 1024. Perubahan ini menggeneralisasi logika pemisahan baris ke enam kernel spesifik: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s, dan iq3_s.

github llama.cpp · 23 jam lalu · 1 tayangan

llama.cpp b10907 memperbaiki alokasi cache kv konteks MTP untuk deepseek2, glm4moe, cohere2moe

llama.cpp b10908 memperbaiki thread idle di kernel iq mul_mv Metal

llama.cpp b10905 menyetel Flash Attention untuk AMD RDNA4 dan merevisi log stream-k

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x