github llama.cpp · 2 hari lalu · inference

llama.cpp mengaktifkan GEMM xmem dan melewati tiled f32 pada GPU Adreno

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah memperbarui backend OpenCL-nya untuk meningkatkan kinerja perkalian matriks pada dua generasi GPU Adreno. Perubahan ini terutama menargetkan generasi X2E dengan secara default menggunakan jalur GEMM xmem F16xF32 dan mengoptimalkan penanganan untuk generasi A7X.

Mengaktifkan secara default GEMM xmem F16xF32 Adreno untuk perangkat X2E, yang sebelumnya memerlukan variabel lingkungan opt-in.
Melewati GEMM tiled f32 pada kompiler Adreno A7X dengan mengalihkan operasi batched ke kernel per-baris untuk menghindari masalah spilling register.
Optimasi xmem memberikan percepatan prefill sekitar 25% pada gpt-oss-20b untuk perangkat Adreno X2-90, sementara bypass A7X menghasilkan peningkatan sekitar 9% pada gemma-3n-E4B.

Optimasi ini mengatasi inefisiensi kompiler spesifik pada silikon Adreno lama dan baru, mengurangi waktu GPU yang dihabiskan dalam kernel matmul lambat selama fase prefill model.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 3 hari lalu · 9 tayangan

llama.cpp b10670 mengarahkan decode KV terkuantisasi ke TILE pada Xe2 (BMG)

Proyek llama.cpp merilis versi b10670, yang mencakup optimasi khusus untuk arsitektur Xe2 Intel. Pembaruan ini mengarahkan operasi decode kunci-nilai (KV) terkuantisasi secara eksklusif ke backend TILE untuk perangkat keras BMG, sambil mempertahankan backend VEC pada arsitektur lain hingga divalidasi.

github llama.cpp · 4 hari lalu · 23 tayangan

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

llama.cpp b10670 mengarahkan decode KV terkuantisasi ke TILE pada Xe2 (BMG)

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

llama.cpp b10653 menambahkan TENSOR_READ_LAZY untuk pemuatan model

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2