github llama.cpp · 2 jam lalu · inference

llama.cpp b10982 menambahkan dukungan Vulkan sparse Flash Attention untuk DSV4/GLM

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10982, yang memperkenalkan dukungan untuk sparse Flash Attention melalui backend Vulkan. Pembaruan ini secara khusus menargetkan model DSV4 dan GLM, memungkinkan mereka memanfaatkan mekanisme perhatian jarang pada perangkat keras GPU yang kompatibel.

Menambahkan dukungan sparse Flash Attention untuk DSV4/GLM dalam implementasi Vulkan.
Termasuk logika implementasi yang telah disetel dan penambahan pengujian.
Memperbaiki perilaku atomicAdd yang nondeterministik.
Menambahkan dukungan vektor decode cm2 dan binding f16vec4 untuk vektor decode.
Menyederhanakan logika dan meningkatkan konsistensi nama variabel.

Rilis ini menyediakan biner pra-kompilasi untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend CPU, CUDA, ROCm, OpenVINO, SYCL, dan Vulkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.

github llama.cpp · 21 jam lalu · 8 tayangan

llama.cpp 0.4.1 menambahkan dukungan untuk Maple 20B-A1B, Tencent Hy 4, dan Spark2.5

Proyek llama.cpp merilis versi 0.4.1, memperkenalkan dukungan untuk arsitektur Mixture of Experts ternary Maple 20B-A1B pada CPU, serta dukungan pratinjau untuk model Tencent Hy 4 dan Spark2.5.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10951 memindahkan llama_n_rs_seq sebelum llama_decode untuk menghindari panggilan tidak perlu

Proyek llama.cpp merilis versi b10951, yang mencakup optimisasi kode dalam logika dekoding. Panggilan fungsi `llama_n_rs_seq` sekarang dieksekusi sebelum `llama_decode`, memungkinkan sistem langsung kembali jika pemeriksaan berhasil.

github llama.cpp · 3 hari lalu · 12 tayangan

llama.cpp b10930 mengizinkan unduhan model pada batas model

Proyek llama.cpp merilis versi b10930, yang mencakup perbaikan untuk komponen server agar memungkinkan unduhan model bahkan ketika pengguna telah mencapai batas model mereka.

github llama.cpp · 3 hari lalu · 4 tayangan

Rilis llama.cpp b10926 menangani kuantisasi tq1_0 yang tidak didukung dengan lancar

Proyek llama.cpp telah merilis versi b10926, yang mencakup perbaikan untuk menangani kuantisasi tq1_0 yang tidak didukung dengan cara gagal secara lancar. Pembaruan ini mengatasi isu #28681 untuk meningkatkan stabilitas saat menemui format kuantisasi spesifik ini.