github llama.cpp · 1 jam lalu · inference

llama.cpp b11463 mempercepat prefill GLM MLA dengan MKL flash attention

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11463 menyertakan pembaruan SYCL yang mengaktifkan MKL flash attention untuk bentuk Multi-Latent Attention (MLA) spesifik dari GLM-4.7 Flash, yang sebelumnya ditolak oleh dispatcher.

Perubahan ini mengakui bentuk 576/576/512 GQA-20 F16 ke dalam pipeline MKL dan menangani V cache sebagai tampilan strided dari baris K.
Sebuah upaya untuk menyimpan skor MKL flash attention dalam F16 guna mengurangi lalu lintas memori disertakan, tetapi kemudian dibatalkan dalam build ini.
Pada Intel Arc Pro B70, optimasi MLA meningkatkan pemrosesan prompt (pp8192) dari 432.80 menjadi 1292.29 tok/s, percepatan sebesar 2.99x.
Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di backend CPU, CUDA, ROCm, Vulkan, OpenVINO, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

Rilis b11413 dari llama.cpp memperkenalkan implementasi baru perhatian flash sparse Vulkan yang mendukung tensor Key dan Value terkuantisasi. Pembaruan ini mengatasi masalah kinerja dalam metode kompresi sebelumnya, yang terlalu mahal untuk tugas dekoding dengan jendela konteks besar.

github llama.cpp · 7 hari lalu · 44 tayangan

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

github llama.cpp · 10 hari lalu · 33 tayangan

llama.cpp b11207 menambahkan dukungan GET_ROWS bertiling Q4_0 dan Q8_0 untuk Hexagon

Proyek llama.cpp merilis build b11207, yang memperkenalkan dukungan untuk operasi GET_ROWS bertiling Q4_0 dan Q8_0 pada backend Hexagon. Pembaruan ini juga mencakup perbaikan pada makro, tumpahan register, dan pipeline DMA, bersama dengan peningkatan logika pemilihan kernel dan vektorisasi yang diaktifkan kembali.

github llama.cpp · 14 hari lalu · 47 tayangan

llama.cpp v0.5.0 menambahkan dukungan HRM-Text, akselerasi CUDA conv2d, dan pengikatan multi-alamat

Proyek llama.cpp telah merilis versi 0.5.0, dengan fokus pada kinerja backend, cakupan model yang lebih luas, dan operasi server yang lebih andal. Pembaruan ini memperkenalkan dukungan untuk arsitektur baru seperti HRM-Text (DFM Mimir 1B) dan MiMo-V2.6, sambil secara signifikan meningkatkan efisiensi komputasi melalui optimisasi CUDA dan Metal.

github llama.cpp · 14 hari lalu · 53 tayangan

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.