github llama.cpp · 3 hari lalu · inference

llama.cpp b10840 menambahkan unpack Q4_K/Q5_K tanpa cabang dan prefetch L2 untuk CUDA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10840, yang memperkenalkan optimasi kinerja untuk inferensi CUDA. Pembaruan ini mengimplementasikan komputasi tanpa cabang untuk format kuantisasi Q4_K dan Q5_K untuk mempercepat perkalian matriks-vektor (mmvq).

Unpacking tanpa cabang mencegah eksekusi ulang skala untuk setiap kolom dalam mmvq, meningkatkan kinerja pada ukuran batch lebih besar dari 1.
Logika prefetch L2 dikunci secara khusus untuk perangkat keras DGX Spark untuk memastikan keuntungan terwujud.
Pengaman prefetch L2 mmvq diperluas untuk mendukung backend MUSA dan HIP alongside CUDA.
Titik switch untuk Q4_K diperbarui untuk mengakomodasi rentang model yang lebih luas.

Perubahan ini memberikan peningkatan kinerja yang terukur bagi pengguna yang menjalankan llama.cpp pada sistem DGX Spark dengan ukuran batch melebihi satu.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b10827 memperbaiki pemilihan paket bobot OpenCL untuk mul_mat q4_K dan q5_K

Proyek llama.cpp telah merilis versi b10827, yang mencakup perbaikan untuk memilih paket bobot dengan benar untuk operasi perkalian matriks q4_K dan q5_K menggunakan OpenCL.

github llama.cpp · 7 hari lalu · 21 tayangan

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

lab Hugging Face Blog · 9 hari lalu · 13 tayangan

Hugging Face merilis 207 kernel WebGPU dan alat benchmarking browser

Hugging Face telah merilis @huggingface/kernels, sebuah pustaka untuk memuat dan menjalankan kernel WebGPU yang dioptimalkan dari Hugging Face Hub, bersama dengan koleksi awal berisi 207 kernel. Rilis ini juga memperkenalkan Fleet, sebuah suite benchmark GPU di browser yang mengumpulkan bukti kinerja dan kebenaran dari perangkat pengguna.

github llama.cpp · 10 hari lalu · 19 tayangan

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 12 hari lalu · 19 tayangan

llama.cpp mengaktifkan GEMM xmem dan melewati tiled f32 pada GPU Adreno

Proyek llama.cpp telah memperbarui backend OpenCL-nya untuk meningkatkan kinerja perkalian matriks pada dua generasi GPU Adreno. Perubahan ini terutama menargetkan generasi X2E dengan secara default menggunakan jalur GEMM xmem F16xF32 dan mengoptimalkan penanganan untuk generasi A7X.