github llama.cpp · 9 jam lalu · inference

llama.cpp b10758 menambahkan fusi MUL_MAT dan MUL_MAT_ID untuk Hexagon

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10758, memperkenalkan kemampuan fusi MUL_MAT dan MUL_MAT_ID untuk DSP Hexagon. Pembaruan ini juga mencakup beberapa perbaikan untuk meningkatkan stabilitas dan kinerja pada perangkat keras Qualcomm.

Menggabungkan matmul QKV dan FFN yang masuk ke HMX.
Menghapus batasan ne[1] < 32K yang dikodekan secara tetap.
Memperbaiki ukuran overhead untuk mencegah melebihi anggaran vtcm untuk dimensi besar.
Menggabungkan MUL_MAT_ID ke varian MUL_MAT_ID_NX jika memungkinkan.
Memperbarui ukuran opbatch dan opqueue untuk mengurangi overhead alokasi buffer jejak.
Menambahkan defragmentasi ruang alamat virtual untuk menghindari abort karena fragmentasi.

Perubahan ini mengoptimalkan penggunaan memori dan efisiensi eksekusi untuk perangkat berbasis Hexagon.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10766 menambahkan dukungan visi untuk DeepSeek 4

Proyek llama.cpp telah merilis build b10766, yang mencakup perbaikan untuk mendukung input visi secara benar untuk model DeepSeek 4.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10762 menambahkan dukungan untuk DeepSeek-V4-Flash-Vision-Exp

Proyek llama.cpp telah merilis build b10762, yang memperkenalkan dukungan untuk model DeepSeek-V4-Flash-Vision-Exp. Pembaruan ini juga mencakup penanganan jumlah token minimum dan maksimum dari antarmuka baris perintah.

github llama.cpp · 9 jam lalu · 3 tayangan

llama.cpp b10759 menghindari inisialisasi tipe buffer KleidiAI saat dispatch

Proyek llama.cpp merilis build b10759, yang mencakup perbaikan untuk menghindari inisialisasi tipe buffer KleidiAI saat dispatch.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10756 membatasi permintaan ekstensi shader_bfloat16 Vulkan

Proyek llama.cpp merilis build b10756, yang memodifikasi perilaku backend Vulkan untuk hanya meminta ekstensi VK_KHR_shader_bfloat16 ketika didukung oleh perangkat keras.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10757 meningkatkan kinerja mat-vec IQ3_S untuk Vulkan pada ukuran batch yang lebih besar

Proyek llama.cpp merilis build b10757, yang mencakup optimasi spesifik untuk backend Vulkan. Pembaruan ini menangani ukuran batch yang lebih besar dari 4 secara efisien untuk perkalian matriks-vektor IQ3_S ketika NUM_COLS lebih besar dari 4.