github llama.cpp · 1 jam lalu · inference

llama.cpp b10256 mem paralelkan kernel penggabungan tidak berurutan untuk SYCL

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10256 menyertakan perubahan untuk mem paralelkan kernel penggabungan tidak berurutan untuk perangkat SYCL. Pembaruan mengubah geometri peluncuran dari grup kerja satu jalur ke yang menggunakan `SYCL_CONCAT_BLOCK_SIZE`.

Kernel penggabungan tidak berurutan SYCL sekarang meluncurkan grup kerja yang lebih lebar untuk meningkatkan paralelisme.
Benchmark pada Arc Pro B70 dengan Qwen3.6-27B menunjukkan peningkatan throughput sebesar 9,4% (dari 920 menjadi 1006 t/s).
Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, CUDA, Vulkan, ROCm, OpenVINO, dan SYCL.

Optimasi ini meningkatkan kinerja inferensi pada GPU Intel menggunakan backend SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10254 menambahkan template DeepSeek V4 Flash 0731 dan memperbarui template V4

Proyek llama.cpp merilis versi b10254, memperkenalkan template obrolan baru untuk model DeepSeek V4 Flash 0731 bersama dengan pembaruan pada template DeepSeek V4 yang ada.

github llama.cpp · 1 jam lalu Langsung

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

github llama.cpp · 4 jam lalu

llama.cpp b10251 menambahkan dukungan MTP untuk GLM-4.7-Flash

Proyek llama.cpp telah merilis build b10251, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.7-Flash.

media r/LocalLLaMA · 5 jam lalu

AFM3 20B Apple menggunakan pruning mengikuti instruksi untuk mengaktifkan ~20% lapisan

Apple telah memperkenalkan arsitektur baru untuk model fondasi generasi ketiganya (AFM3) yang memanfaatkan "Pruning Mengikuti Instruksi" untuk secara signifikan mengurangi jumlah parameter aktif. Model ini dirancang untuk mengaktifkan sekitar 20% dari lapisan MLP-nya dengan membuat keputusan routing sekali per prompt, bukan per token.

github llama.cpp · 6 jam lalu

llama.cpp b10249 menambahkan alat get_info ke server

Proyek llama.cpp merilis versi b10249, yang memperkenalkan alat `get_info` baru ke komponen server. Pembaruan ini juga mencakup perbaikan dokumentasi untuk flag `--rpc`.