github llama.cpp · 1 jam lalu · inference

llama.cpp b11006 menambahkan dukungan Hexagon untuk K-Quants Q4_K dan Q6_K

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11006, memperkenalkan dukungan untuk prosesor Qualcomm Hexagon guna menangani format K-Quantization. Pembaruan ini mengimplementasikan kernel spesifik untuk tingkat kuantisasi Q4_K dan Q6_K pada arsitektur Hexagon.

Implementasi kernel q6k dan q4k untuk DSP Hexagon.
Akurasi unpacking yang lebih baik untuk kernel hex-q6k.
Ditambahkan dukungan untuk kernel Q4_K pada perangkat keras Hexagon.

Rilis ini menyediakan binaris pra-bangun untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend CPU dan GPU termasuk CUDA, ROCm, Vulkan, dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.

github llama.cpp · 9 hari lalu · 21 tayangan

llama.cpp b10840 menambahkan unpack Q4_K/Q5_K tanpa cabang dan prefetch L2 untuk CUDA

Proyek llama.cpp merilis versi b10840, yang memperkenalkan optimasi kinerja untuk inferensi CUDA. Pembaruan ini mengimplementasikan komputasi tanpa cabang untuk format kuantisasi Q4_K dan Q5_K untuk mempercepat perkalian matriks-vektor (mmvq).

github llama.cpp · 10 hari lalu · 21 tayangan

llama.cpp b10827 memperbaiki pemilihan paket bobot OpenCL untuk mul_mat q4_K dan q5_K

Proyek llama.cpp telah merilis versi b10827, yang mencakup perbaikan untuk memilih paket bobot dengan benar untuk operasi perkalian matriks q4_K dan q5_K menggunakan OpenCL.

github llama.cpp · 13 hari lalu · 28 tayangan

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

lab Hugging Face Blog · 15 hari lalu · 20 tayangan

Hugging Face merilis 207 kernel WebGPU dan alat benchmarking browser

Hugging Face telah merilis @huggingface/kernels, sebuah pustaka untuk memuat dan menjalankan kernel WebGPU yang dioptimalkan dari Hugging Face Hub, bersama dengan koleksi awal berisi 207 kernel. Rilis ini juga memperkenalkan Fleet, sebuah suite benchmark GPU di browser yang mengumpulkan bukti kinerja dan kebenaran dari perangkat pengguna.