github llama.cpp · 17 jam lalu · inference

llama.cpp b10883 memperbaiki perkalian matriks Vulkan dan memulihkan optimasi Ampere

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10883, yang mencakup pembaruan signifikan pada backend Vulkan. Perubahan utama melibatkan penggunaan konstanta spesifikasi untuk operasi perkalian matriks-matriks tipe A guna meningkatkan kompilasi shader dan kinerja.

Gunakan konstanta spesifikasi untuk mul mat type_a di shader Vulkan.
Konsolidasi tabel memori bersama dan kurangi ukuran dengan konstanta spesifikasi tipe.
Pulihkan optimasi coopmat2 q4_k/q5_k dan pisahkan shader untuk memperbaiki regresi Ampere.
Perbaiki tipe Q2_0 yang hilang di cm2 matmul dan sesuaikan perubahan penyetelan f16 Intel.
Kerjaan bug kompilator cm2 dengan menggunakan ukuran memori bersama minimal 8.

Rilis ini menyediakan biner yang diperbarui untuk macOS, Linux, Windows, Android, dan openEuler di backend CPU, GPU, dan perangkat keras khusus.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

Proyek llama.cpp telah merilis build b10888, yang mencakup fitur baru untuk menambahkan label debug buffer perintah untuk profiler GPU di backend Vulkan.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x

Proyek llama.cpp merilis build b10886, yang memperkenalkan dukungan intrinsik vektor Q1_0 untuk arsitektur s390x. Pembaruan ini mencakup implementasi `ggml_vec_dot_q1_0_q8_0` dan memperbarui dokumentasi untuk mencerminkan kemampuan baru.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10870 menambahkan pipeline matriks f16 tipe B dan penyetelan tile warp untuk Intel coopmat1

Proyek llama.cpp merilis versi b10870, memperkenalkan dukungan Vulkan untuk pipeline perkalian matriks f16 tipe B dan penyetelan ukuran tile warp secara khusus untuk perangkat keras Intel coopmat1.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10871 menambahkan shader mat-vec iq4_xs khusus untuk Vulkan

Proyek llama.cpp merilis build b10871, memperkenalkan shader mul_mat_vec_iq4_xs khusus untuk jalur dmmv di Vulkan. Perubahan ini menggantikan implementasi fallback generik sebelumnya untuk meningkatkan kinerja pada perangkat keras RDNA4.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10863 memperbaiki thread menganggur di mul_mv_iq3_xxs Metal untuk matriks kecil

Proyek llama.cpp merilis build b10863, yang mencakup perbaikan untuk thread menganggur pada kernel `mul_mv_iq3_xxs` di Metal ketika `ne00` kurang dari 1024. Pembaruan ini mengatasi masalah simdgroup setengah-menganggur dengan memperkenalkan kernel split terpisah untuk dimensi matriks tertentu.