github llama.cpp · 1 hari lalu · inference

llama.cpp b10068 memutar cache K/V yang disuntikkan untuk DFlash

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10068, yang memperkenalkan perubahan pada implementasi model DFlash. Pembaruan ini memodifikasi src/models/dflash.cpp untuk memutar cache kunci/nilai (K/V) yang disuntikkan ketika kuantisasi K/V digunakan.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Pembaruan ini memastikan penanganan cache yang benar untuk model DFlash dalam kondisi kuantisasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10067 mengecualikan tabel perutean DeepSeek-V4 dari kuantisasi

Proyek llama.cpp merilis versi b10067, yang mencakup perbaikan untuk alat `llama-quantize` agar dapat menangani model DeepSeek-V4 dengan benar. Pembaruan ini mencegah kuantizer mencoba mengonversi tensor `ffn_gate_tid2eid`, sebuah tabel indeks token-to-expert i32, ke tipe float.

github llama.cpp · 2 hari lalu

llama.cpp b10067 mengecualikan tabel perutean DeepSeek-V4 dari kuantisasi

llama.cpp b10066 menambahkan dukungan kernel kernel_gemm_moe_q6_k_f32_ns melalui OpenCL

Rilis llama.cpp b10064 dengan optimasi transpose OpenCL

llama.cpp b10059 mengatur ggml-blas default hadamard mul_mat ke rutin CPU

llama.cpp b10057 memperbaiki kernel Q5_K SYCL dan merilis biner