github llama.cpp · 3 jam lalu · inference

llama.cpp memperluas matmul MMA baris-minimal ke BF16, Q2_K, dan tipe lainnya

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah memperluas kernel Matrix Multiply (MMA) baris-minimal generiknya untuk mendukung tambahan tipe data sumber, termasuk BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0, dan berbagai tipe IQ. Pembaruan ini memungkinkan kernel yang dioptimalkan menangani tipe apa pun dengan dequantizer bobot 16-bit, menerapkan ambang batas jumlah baris spesifik pada perangkat keras M3 Ultra di mana kinerja mulai melebihi kernel saat ini.

Dukungan baru mencakup BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0, dan tipe IQ.
Ambang batas kinerja bervariasi per tipe: 5 baris untuk TQ2_0, 4 untuk BF16, 3 untuk MXFP4/Q2_0/Q2_K/IQ4_NL, dan 2 untuk lainnya.
Hasil benchmark pada M3 Ultra menunjukkan rasio kinerja berkisar dari 0,23 hingga 1,01 tergantung pada jumlah baris dan tumpang tindih kernel.

Perubahan ini meningkatkan efisiensi inferensi untuk berbagai format kuantisasi dengan memanfaatkan kemampuan kernel MMA pada jumlah baris yang rendah.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp menambahkan dukungan MTP GLM5-Next dan mengoptimalkan grafik NextN

Proyek llama.cpp telah menambahkan dukungan untuk kepala prediksi multi-token (MTP) GLM5-Next, dengan menerapkan struktur grafik baru untuk menangani kebutuhan arsitektur spesifiknya. Pembaruan ini mencakup optimisasi untuk blok NextN, yang memungkinkannya melewati komputasi mati selama forward tanpa kepala dan mengekstrak baris tersembunyi dengan benar.

github llama.cpp · 7 jam lalu · 1 tayangan

llama.cpp b11463 mempercepat prefill GLM MLA dengan MKL flash attention

Rilis llama.cpp b11463 menyertakan pembaruan SYCL yang mengaktifkan MKL flash attention untuk bentuk Multi-Latent Attention (MLA) spesifik dari GLM-4.7 Flash, yang sebelumnya ditolak oleh dispatcher.

github llama.cpp · 2 hari lalu · 27 tayangan

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

Rilis b11413 dari llama.cpp memperkenalkan implementasi baru perhatian flash sparse Vulkan yang mendukung tensor Key dan Value terkuantisasi. Pembaruan ini mengatasi masalah kinerja dalam metode kompresi sebelumnya, yang terlalu mahal untuk tugas dekoding dengan jendela konteks besar.

github llama.cpp · 7 hari lalu · 44 tayangan

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

github llama.cpp · 10 hari lalu · 33 tayangan

llama.cpp b11207 menambahkan dukungan GET_ROWS bertiling Q4_0 dan Q8_0 untuk Hexagon

Proyek llama.cpp merilis build b11207, yang memperkenalkan dukungan untuk operasi GET_ROWS bertiling Q4_0 dan Q8_0 pada backend Hexagon. Pembaruan ini juga mencakup perbaikan pada makro, tumpahan register, dan pipeline DMA, bersama dengan peningkatan logika pemilihan kernel dan vektorisasi yang diaktifkan kembali.