github llama.cpp · baru saja · inference

llama.cpp b10734 mengaktifkan API tensor Metal 4.0 pada M5+/A19+

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10734, yang mencakup pembaruan untuk mengaktifkan API tensor Metal 4.0 untuk perangkat dengan chip M5+ atau A19+.

Meminta versi bahasa Metal 4.0 untuk API tensor.
Memuat kernel API tensor dari metallib terpisah.
Memperbaiki urutan build metallib untuk kernel API tensor.
Menambahkan uji regresi API tensor external-metallib.

Rilis ini menyediakan biner untuk macOS, iOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL, dan OpenCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

ExLlamaV3 menambahkan offload CPU untuk ahli MoE dan model GLM-5.3-Flash, Qwen3.8-Flash baru

Turboderp telah merilis pembaruan signifikan untuk ExLlamaV3, memperkenalkan kemampuan offload CPU untuk ahli Mixture of Experts (MoE). Pembaruan ini juga mencakup dukungan untuk model GLM-5.3-Flash dan Qwen3.8-Flash yang baru dirilis.

github llama.cpp · 18 jam lalu · 2 tayangan

llama.cpp b10724 mengoptimalkan pemulihan keadaan kv-cache untuk mengurangi jumlah salinan dari 1.3M menjadi 224

Proyek llama.cpp merilis build b10724, yang secara signifikan meningkatkan kinerja pemulihan sel KV cache non-kontigu dengan melakukan batching bacaan scatter per jalankanan kontinu.

github llama.cpp · 20 jam lalu · 3 tayangan

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

Proyek llama.cpp telah merilis build b10721, yang mencakup perbaikan kritis untuk backend WebGPU dan memperluas dukungan perangkat keras di Windows.

github llama.cpp · 22 jam lalu · 9 tayangan

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 1 hari lalu · 4 tayangan

llama.cpp b10715 menggabungkan encoder DFlash ke dalam injeksi cache KV

Proyek llama.cpp merilis build b10715, yang mencakup optimasi kunci pada implementasi DFlash. Encoder DFlash sekarang digabungkan langsung ke dalam proses injeksi cache KV selama decoding.