github llama.cpp · baru saja · inference

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

Mengoptimalkan opencl quant lm_head / decode GEMV dan GEMM batch-menengah untuk decoding spekulatif/MTP.
Melindungi pendaftaran konversi kernel tiled_ns q4_K/q6_K untuk build non-Adreno.
Membatasi dispatch fusi MUL_MAT+GLU q4_K secara khusus ke perangkat keras Adreno.
Memerlukan tata letak bobot noshuffle di gerbang fusi GLU q4_K.
Mencegah pengambilan jalur GEMV mrow f16 tervektorisasi pada stride baris yang tidak sejajar.
Mengaktifkan decode GEMV split-K q4_K hanya di mana peningkatan kinerja terukur.
Membatasi default GEMV lm_head/embed tiled ke arsitektur X2E/A8X.

Rilis ini menyediakan biner untuk macOS, iOS, Linux, Windows, Android, dan openEuler di seluruh CPU, GPU, dan berbagai backend akselerator.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

Hugging Face merilis 207 kernel WebGPU dan alat benchmarking browser

Hugging Face telah merilis @huggingface/kernels, sebuah pustaka untuk memuat dan menjalankan kernel WebGPU yang dioptimalkan dari Hugging Face Hub, bersama dengan koleksi awal berisi 207 kernel. Rilis ini juga memperkenalkan Fleet, sebuah suite benchmark GPU di browser yang mengumpulkan bukti kinerja dan kebenaran dari perangkat pengguna.

github llama.cpp · 3 hari lalu · 10 tayangan

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 5 hari lalu · 9 tayangan

llama.cpp mengaktifkan GEMM xmem dan melewati tiled f32 pada GPU Adreno

Proyek llama.cpp telah memperbarui backend OpenCL-nya untuk meningkatkan kinerja perkalian matriks pada dua generasi GPU Adreno. Perubahan ini terutama menargetkan generasi X2E dengan secara default menggunakan jalur GEMM xmem F16xF32 dan mengoptimalkan penanganan untuk generasi A7X.

github llama.cpp · 6 hari lalu · 11 tayangan

llama.cpp b10670 mengarahkan decode KV terkuantisasi ke TILE pada Xe2 (BMG)

Proyek llama.cpp merilis versi b10670, yang mencakup optimasi khusus untuk arsitektur Xe2 Intel. Pembaruan ini mengarahkan operasi decode kunci-nilai (KV) terkuantisasi secara eksklusif ke backend TILE untuk perangkat keras BMG, sambil mempertahankan backend VEC pada arsitektur lain hingga divalidasi.

github llama.cpp · 7 hari lalu · 30 tayangan

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Qwen3.8-Flash-Next (qwen4exp), mengimplementasikan komponen spesifiknya termasuk hiper-koneksi, jaringan delta tergerbang, Campuran Ahli, dan embedding hash n-gram PLE.