github llama.cpp · 1 jam lalu · inference

llama.cpp b10534 menambahkan titik sakelar per-HW CUDA untuk decode lebih cepat

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10534, yang memperkenalkan titik sakelar spesifik perangkat keras untuk menyetel crossover antara jalur vektor dan inti tensor selama decoding terkuantisasi pada CUDA.

Rilis ini menambahkan konfigurasi runtime melalui GGML_CUDA_MMVQ_MAX untuk menyesuaikan ambang batas ukuran batch di mana kernel beralih dari mul_mat_vec_q ke MMQ.
Nilai titik sakelar spesifik kini disertakan untuk arsitektur Blackwell, DGX Spark, dan Ada, mengurangi ketergantungan pada variabel lingkungan.
Menurunkan ambang batas ini mengarahkan batch yang lebih besar ke jalur inti tensor int8 MMQ, menghasilkan percepatan terukur sebesar 23-41% pada ukuran batch 8 untuk model padat Q4_K di RTX 5090.
Pembaruan ini mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend CPU, CUDA, Vulkan, ROCm, OpenVINO, dan SYCL.

Perubahan ini meningkatkan kinerja inferensi pada GPU NVIDIA modern dengan secara otomatis memilih jalur kernel paling efisien berdasarkan ukuran batch dan kemampuan perangkat keras.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Artikel terkait

lab Hugging Face Blog · 3 hari lalu · 5 tayangan

Alokator GPU yang sadar kendala meningkatkan utilisasi dan output berbobot prioritas melebihi FIFO

Sebuah alokator GPU yang sadar kendala diuji bandingkan dengan penjadwal FIFO di tujuh skenario, mencapai peningkatan utilisasi GPU hingga 33 poin persentase dan output berbobot prioritas hingga 105% lebih tinggi pada perangkat keras yang identik. Sistem ini memperlakukan permintaan inferensi waktu nyata sebagai kurva berfluktuasi daripada reservasi statis, memungkinkan pekerjaan seperti batch mengisi kapasitas selama titik terendah sambil menghormati kendala ketat seperti blok GPU yang kontigu dan non-preempsi.

media r/LocalLLaMA · 4 hari lalu · 22 tayangan

NVIDIA melayani Qwen 3.8 2.4T di GB300 NVL72 pada 4K tok/s per GPU

NVIDIA telah mendemonstrasikan layanan model parameter Qwen 3.8 2.4T dengan kemampuan penalaran yang dapat dikonfigurasi pada platform perangkat keras GB300 NVL72-nya.

github llama.cpp · 14 hari lalu · 26 tayangan

llama.cpp b10306 menambahkan jalur datar GLU SYCL dan mengonsolidasikan kernel

Rilis llama.cpp b10306 memperkenalkan optimasi kinerja untuk backend SYCL, khususnya menargetkan operasi Gated Linear Unit (GLU). Pembaruan ini menambahkan jalur cepat kontigu untuk operasi GLU terpadu dan mengonsolidasikan kernel yang sebelumnya berbeda agar berbagi peluncur bersama.

github llama.cpp · 17 hari lalu · 31 tayangan

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

media r/LocalLLaMA · 21 hari lalu · 27 tayangan

Lucebox dan AMD mengalahkan Nvidia DGX Spark sebesar 3.63x pada DeepSeek V4 Flash

Lucebox telah bermitra dengan AMD untuk mendemonstrasikan setup perangkat keras konsumen heterogen yang mengungguli Nvidia DGX Spark dalam kecepatan inferensi. Sistem ini menggabungkan GPU AMD Radeon AI PRO R9700 dengan prosesor Strix Halo untuk menjalankan model lengkap DeepSeek V4 Flash sebesar 284B.