github llama.cpp · 1 jam lalu · inference

llama.cpp b11007 mengaktifkan CUDA graph untuk draf MTP

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11007, yang memperkenalkan dukungan untuk CUDA graphs dalam draf Multi-Token Prediction (MTP). Pembaruan ini meningkatkan efisiensi proses draf dengan memanfaatkan eksekusi CUDA graph.

Mengaktifkan CUDA graph untuk draf MTP guna meningkatkan efisiensi penggunaan.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.
Menyertakan biner UI untuk semua platform yang didukung.

Rilis ini memungkinkan pengguna mendapatkan manfaat dari kinerja inferensi yang dioptimalkan pada GPU NVIDIA yang kompatibel melalui implementasi draf MTP baru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11006 menambahkan dukungan Hexagon untuk K-Quants Q4_K dan Q6_K

Proyek llama.cpp merilis versi b11006, memperkenalkan dukungan untuk prosesor Qualcomm Hexagon guna menangani format K-Quantization. Pembaruan ini mengimplementasikan kernel spesifik untuk tingkat kuantisasi Q4_K dan Q6_K pada arsitektur Hexagon.

github llama.cpp · 1 hari lalu · 8 tayangan

llama.cpp b10982 menambahkan dukungan Vulkan sparse Flash Attention untuk DSV4/GLM

Proyek llama.cpp telah merilis build b10982, yang memperkenalkan dukungan untuk sparse Flash Attention melalui backend Vulkan. Pembaruan ini secara khusus menargetkan model DSV4 dan GLM, memungkinkan mereka memanfaatkan mekanisme perhatian jarang pada perangkat keras GPU yang kompatibel.

github llama.cpp · 1 hari lalu · 5 tayangan

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.

github llama.cpp · 2 hari lalu · 12 tayangan

llama.cpp 0.4.1 menambahkan dukungan untuk Maple 20B-A1B, Tencent Hy 4, dan Spark2.5

Proyek llama.cpp merilis versi 0.4.1, memperkenalkan dukungan untuk arsitektur Mixture of Experts ternary Maple 20B-A1B pada CPU, serta dukungan pratinjau untuk model Tencent Hy 4 dan Spark2.5.

github llama.cpp · 3 hari lalu · 3 tayangan

llama.cpp b10951 memindahkan llama_n_rs_seq sebelum llama_decode untuk menghindari panggilan tidak perlu

Proyek llama.cpp merilis versi b10951, yang mencakup optimisasi kode dalam logika dekoding. Panggilan fungsi `llama_n_rs_seq` sekarang dieksekusi sebelum `llama_decode`, memungkinkan sistem langsung kembali jika pemeriksaan berhasil.