github llama.cpp · 4 hari lalu · inference

llama.cpp b11224 memperbaiki hasil salah mul_mat Vulkan pada tampilan cache KV bertingkat

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11224 mengatasi hasil komputasi yang salah di backend Vulkan ketika operasi perkalian matriks membaca irisan dari tensor yang lebih besar dan bertingkat, seperti cache KV.

Stride batch untuk tensor src0 dan src1 in-place sekarang diturunkan dengan benar dari nb[2] alih-alih ne00*ne01, memastikan akses baris yang tepat di semua kepala.
Rentang A dan B in-place berukuran berdasarkan ekstensi bertingkatnya menggunakan ggml_nbytes atau ggml_vk_subbuffer untuk mencegah pembacaan data yang dihapus atau hang pada perangkat keras NVIDIA tanpa coopmat2.
Jalur mul_mat_id dan mul_mm diperbarui untuk menangani tampilan ahli bertingkat dan ubin parsial dengan benar, menghindari hang pada operasi NVFP4.

Perbaikan ini memastikan hasil inferensi yang akurat untuk mekanisme perhatian diri decoder yang bergantung pada tata letak memori bertingkat di backend Vulkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11309 mengoptimalkan ALLREDUCE Hexagon dengan mode scatter aman

Proyek llama.cpp merilis versi b11309, yang mencakup optimasi kunci untuk backend Hexagon. Pembaruan ini menambahkan dukungan untuk mode scatter aman ke operasi ALLREDUCE, bertujuan untuk meningkatkan kinerja dan stabilitas pada perangkat Qualcomm Snapdragon.

github llama.cpp · 1 hari lalu · 8 tayangan

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11266 memuat matriks A F32 dua kali untuk Vulkan pada Intel

Proyek llama.cpp merilis build b11266, yang mencakup optimasi Vulkan yang memuat matriks A F32 dua elemen sekaligus ketika mereka sejajar 2. Perubahan ini mengatasi masalah kinerja pada perangkat keras Intel di mana memuat float satu per satu tidak efisien, dan juga memperbaiki validasi yang hilang untuk penjajaran `a_offset` dalam patch asli.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b11265 memperbaiki pemilihan tile matmul MOE di Vulkan

Rilis llama.cpp b11265 mencakup perbaikan untuk penanganan model Mixture of Experts (MoE) oleh backend Vulkan. Pembaruan ini memperbaiki bagaimana `mat_mul_id` memilih tile perkalian matriks, mengatasi masalah kinerja di mana pekerja menganggur selama penjadwalan.

github llama.cpp · 3 hari lalu · 4 tayangan

llama.cpp b11238 menambahkan ggml_pad_ext untuk padding kiri dan melewatkan tap DFlash2

Proyek llama.cpp merilis build b11238, memperkenalkan implementasi padding kiri yang terpadu melalui fungsi `ggml_pad_ext` baru. Perubahan ini menyatukan metode sebelumnya yang digunakan oleh encoder audio seperti Parakeet, LFM2-Audio, Granite Speech, dan Gemma 4, memastikan embedding yang identik secara bit untuk Gemma 4 sambil menyederhanakan dukungan backend.