github llama.cpp · baru saja · inference

llama.cpp b10777 mengurangi pekerjaan redundan di Q4_K multi-column MMVQ

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10777, yang mencakup optimasi untuk backend SYCL pada perkalian matriks-vektor (MMVQ) multi-kolom dengan Q4_K. Pembaruan ini berfokus pada pengurangan pekerjaan komputasi redundan melalui strategi pembongkaran bobot dan penggunaan kembali aktivasi.

Mengoptimalkan pembongkaran bobot Q4_K dan menggunakan kembali data antar kolom tujuan.
Mengimplementasikan penggunaan kembali subgrup aktivasi untuk nilai N kecil (N=2..4) di dua baris keluaran.
Membatasi pola penggunaan kembali dua baris secara khusus untuk N=2 guna meningkatkan efisiensi.
Memperbarui ambang batas angka ajaib menjadi Q4_K_MMVQ_ROW_PAIR_MIN_NROWS=6272 dan menambahkan uji kinerja untuk cakupan MUL_MAT dengan Q4_K.

Rilis ini menyediakan biner pra-bangun untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend perangkat keras, termasuk CPU, CUDA, ROCm, Vulkan, OpenVINO, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10766 menambahkan dukungan visi untuk DeepSeek 4

Proyek llama.cpp telah merilis build b10766, yang mencakup perbaikan untuk mendukung input visi secara benar untuk model DeepSeek 4.

github llama.cpp · 14 jam lalu · 4 tayangan

llama.cpp b10762 menambahkan dukungan untuk DeepSeek-V4-Flash-Vision-Exp

Proyek llama.cpp telah merilis build b10762, yang memperkenalkan dukungan untuk model DeepSeek-V4-Flash-Vision-Exp. Pembaruan ini juga mencakup penanganan jumlah token minimum dan maksimum dari antarmuka baris perintah.

github llama.cpp · 22 jam lalu · 1 tayangan

llama.cpp b10758 menambahkan fusi MUL_MAT dan MUL_MAT_ID untuk Hexagon

Proyek llama.cpp merilis build b10758, memperkenalkan kemampuan fusi MUL_MAT dan MUL_MAT_ID untuk DSP Hexagon. Pembaruan ini juga mencakup beberapa perbaikan untuk meningkatkan stabilitas dan kinerja pada perangkat keras Qualcomm.

github llama.cpp · 22 jam lalu · 3 tayangan

llama.cpp b10759 menghindari inisialisasi tipe buffer KleidiAI saat dispatch

Proyek llama.cpp merilis build b10759, yang mencakup perbaikan untuk menghindari inisialisasi tipe buffer KleidiAI saat dispatch.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10756 membatasi permintaan ekstensi shader_bfloat16 Vulkan

Proyek llama.cpp merilis build b10756, yang memodifikasi perilaku backend Vulkan untuk hanya meminta ekstensi VK_KHR_shader_bfloat16 ketika didukung oleh perangkat keras.