github llama.cpp · 4 hari lalu · inference

llama.cpp b10827 memperbaiki pemilihan paket bobot OpenCL untuk mul_mat q4_K dan q5_K

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10827, yang mencakup perbaikan untuk memilih paket bobot dengan benar untuk operasi perkalian matriks q4_K dan q5_K menggunakan OpenCL.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, SYCL), Android, dan iOS.
Dukungan OpenCL Adreno tersedia di Windows arm64, sementara KleidiAI tetap dinonaktifkan untuk macOS Apple Silicon.
Pembaruan ini juga mencakup build UI baru dan tautan attestation untuk verifikasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b10840 menambahkan unpack Q4_K/Q5_K tanpa cabang dan prefetch L2 untuk CUDA

Proyek llama.cpp merilis versi b10840, yang memperkenalkan optimasi kinerja untuk inferensi CUDA. Pembaruan ini mengimplementasikan komputasi tanpa cabang untuk format kuantisasi Q4_K dan Q5_K untuk mempercepat perkalian matriks-vektor (mmvq).

github llama.cpp · 7 hari lalu · 21 tayangan

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

lab Hugging Face Blog · 9 hari lalu · 13 tayangan

Hugging Face merilis 207 kernel WebGPU dan alat benchmarking browser

Hugging Face telah merilis @huggingface/kernels, sebuah pustaka untuk memuat dan menjalankan kernel WebGPU yang dioptimalkan dari Hugging Face Hub, bersama dengan koleksi awal berisi 207 kernel. Rilis ini juga memperkenalkan Fleet, sebuah suite benchmark GPU di browser yang mengumpulkan bukti kinerja dan kebenaran dari perangkat pengguna.

github llama.cpp · 10 hari lalu · 19 tayangan

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 12 hari lalu · 19 tayangan

llama.cpp mengaktifkan GEMM xmem dan melewati tiled f32 pada GPU Adreno

Proyek llama.cpp telah memperbarui backend OpenCL-nya untuk meningkatkan kinerja perkalian matriks pada dua generasi GPU Adreno. Perubahan ini terutama menargetkan generasi X2E dengan secara default menggunakan jalur GEMM xmem F16xF32 dan mengoptimalkan penanganan untuk generasi A7X.