github llama.cpp · 1 jam lalu · inference

llama.cpp b10427 menggabungkan operasi FFN SYCL untuk peningkatan throughput hingga 12,4%

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10427, yang mencakup optimasi kinerja untuk GPU Intel Arc melalui SYCL. Pembaruan ini mengimplementasikan penggabungan operasi gate, up, dan GLU di dalam lapisan jaringan feed-forward padat (FFN) q4_K.

Diukur pada Arc Pro B70 menggunakan llama-bench, throughput meningkat sebesar 2,8% untuk qwen2.5-3B-Instruct dan 2,0% untuk gemma-2-2b-it.
Benchmark inferensi batched pada qwen2.5-3B menunjukkan peningkatan signifikan: +3,4% pada ukuran batch 1, naik menjadi +10,1% pada B=2, +10,7% pada B=4, dan +12,4% pada B=8.

Rilis ini menyediakan biner yang telah dikompilasi sebelumnya untuk macOS, Linux, Windows, Android, dan openEuler di backend CPU, CUDA, Vulkan, ROCm, dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10413 menambahkan deteksi otomatis tipe spesifikasi draf dari metadata GGUF

Proyek llama.cpp merilis versi b10413, yang memperkenalkan deteksi otomatis tipe spesifikasi decoding spekulatif langsung dari metadata model GGUF draf.

github llama.cpp · 18 jam lalu · 1 tayangan

llama.cpp b10410 menghapus promosi tipe fp32 terpisah di jalur gemm non-oneDNN

Proyek llama.cpp telah merilis versi b10410, yang mencakup perubahan kode untuk backend SYCL. Pembaruan ini menghapus promosi tipe fp32 terpisah di jalur GEMM non-oneDNN dan alih-alih menggunakan promosi otomatis fp16.

github llama.cpp · 19 jam lalu · 4 tayangan

llama.cpp b10408 menambahkan kernel ESIMD Q3_K dan memindahkan kontrol ke runtime

Proyek llama.cpp merilis versi b10408, yang memperkenalkan kernel DMMV Q3_K ESIMD untuk GPU Intel. Rilis ini juga mencakup kernel ESIMD Q4_K dan Q6_K baru serta melakukan refaktor basis kode untuk memungkinkan kontrol ESIMD pada waktu eksekusi daripada waktu kompilasi.

github llama.cpp · 3 hari lalu · 6 tayangan

llama.cpp b10353 memperbaiki hasil salah diam-diam di kernel ROLL CUDA dan Metal

Proyek llama.cpp merilis build b10353, yang menangani bug kritis dalam operasi ggml_roll pada backend CUDA dan Metal. Sebelumnya, tensor sumber yang dipermutasi (tidak kontinu) menghasilkan hasil yang salah secara diam-diam karena backend ini mengabaikan informasi stride.

github llama.cpp · 7 hari lalu · 8 tayangan

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

Proyek llama.cpp merilis versi b10322, yang mencakup perbaikan kritis untuk operasi GGML_OP_NORM dan GGML_OP_RMS_NORM pada Metal. Pembaruan ini menyelesaikan masalah di mana threadgroups dengan ukuran yang menyisakan kelompok SIMD parsial menyebabkan perhitungan mean dan varians yang salah akibat hilangnya jumlah parsial.