github llama.cpp · 1 hari lalu · inference

llama.cpp b10067 mengecualikan tabel perutean DeepSeek-V4 dari kuantisasi

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10067, yang mencakup perbaikan untuk alat `llama-quantize` agar dapat menangani model DeepSeek-V4 dengan benar. Pembaruan ini mencegah kuantizer mencoba mengonversi tensor `ffn_gate_tid2eid`, sebuah tabel indeks token-to-expert i32, ke tipe float.

Mengecualikan tabel perutean `ffn_gate_tid2eid` dari kuantisasi untuk menghindari kegagalan konversi.
Menambahkan tensor ke daftar pengecualian berbasis nama bersama dengan `ffn_gate_inp.weight`.
Memecahkan masalah #25754 di mana kuantisasi sebelumnya gagal pada model DeepSeek-V4.

Perubahan ini memungkinkan pengguna melakukan kuantisasi pada model DeepSeek-V4 secara berhasil tanpa mengalami kesalahan yang terkait dengan konversi tipe integer ke float.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10068 memutar cache K/V yang disuntikkan untuk DFlash

Proyek llama.cpp merilis versi b10068, yang memperkenalkan perubahan pada implementasi model DFlash. Pembaruan ini memodifikasi src/models/dflash.cpp untuk memutar cache kunci/nilai (K/V) yang disuntikkan ketika kuantisasi K/V digunakan.

github llama.cpp · 2 hari lalu

llama.cpp b10066 menambahkan dukungan kernel kernel_gemm_moe_q6_k_f32_ns melalui OpenCL

Proyek llama.cpp telah merilis versi b10066, memperkenalkan dukungan untuk kernel `kernel_gemm_moe_q6_k_f32_ns` melalui OpenCL. Pembaruan ini memungkinkan pemuatan dan penggunaan pustaka kernel biner spesifik ini dalam kerangka kerja.

github llama.cpp · 2 hari lalu

Rilis llama.cpp b10064 dengan optimasi transpose OpenCL

Proyek llama.cpp telah merilis versi b10064, yang mencakup perubahan pada backend OpenCL. Pembaruan ini memodifikasi format kuantisasi q4_K dengan mentransposisikan skala noshuffle untuk mengaktifkan pembacaan koalescen.

github llama.cpp · 2 hari lalu

llama.cpp b10059 mengatur ggml-blas default hadamard mul_mat ke rutin CPU

Proyek llama.cpp telah merilis versi b10059, yang memperbarui pustaka ggml-blas untuk menggunakan rutin CPU sebagai default untuk perkalian matriks Hadamard.

github llama.cpp · 2 hari lalu

llama.cpp b10057 memperbaiki kernel Q5_K SYCL dan merilis biner

Proyek llama.cpp telah merilis versi b10057, yang mencakup beberapa perbaikan bug untuk backend SYCL bersama dengan distribusi biner standar di berbagai platform.