github llama.cpp · 1 jam lalu · inference

llama.cpp b10165 menambahkan dukungan iq4_nl dan q1_0 ke Vulkan FA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10165, yang memulihkan dukungan kuantisasi iq4_nl untuk backend Flash Attention (FA) Vulkan. Perubahan ini mengatasi masalah #23681 dengan mengaktifkan kembali fitur tersebut setelah kekhawatiran mengenai penggunaan memori bersama dianggap sepele.

Menambahkan kembali dukungan iq4_nl ke implementasi Vulkan FA.
Menambahkan dukungan q1_0 untuk konfigurasi non-coopmat2.
Memperbaiki masalah GitHub #23681 terkait penghapusan dukungan FA q1_0.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, dan Android melalui backend CPU, CUDA, ROCm, OpenVINO, SYCL, dan Vulkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10164 menambahkan matmul SSD terfragmentasi untuk akselerasi prefill Mamba-2

Proyek llama.cpp merilis versi b10164, memperkenalkan implementasi perkalian matriks SSD terfragmentasi baru yang dirancang untuk mempercepat fase prefill model Mamba-2.

github llama.cpp · 6 jam lalu · 1 tayangan

llama.cpp b10159 menambahkan kernel FWHT untuk backend Metal

Proyek llama.cpp merilis build b10159, yang memperkenalkan kernel Transformasi Walsh-Hadamard Cepat (FWHT) untuk backend Metal. Pembaruan ini mencakup detail implementasi yang masih dalam tahap pengembangan serta penjaga bentuk dan penyesuaian pemformatan kode.

github llama.cpp · 8 jam lalu · 2 tayangan

llama.cpp b10158 menambahkan dukungan eagle3-v3 untuk model gpt-oss

Proyek llama.cpp telah merilis build b10158, yang memperkenalkan dukungan untuk arsitektur eagle3-v3 di dalam model gpt-oss.

github llama.cpp · 5 hari lalu · 2 tayangan

llama.cpp b10098 memperbarui operasi aktivasi Hexagon

Proyek llama.cpp merilis versi b10098, yang mencakup pembaruan pada operasi aktivasi Hexagon. Rilis ini menyediakan biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend CPU dan GPU.

lab Hugging Face Blog · 5 hari lalu · 1 tayangan

Diffusers menambahkan dukungan inferensi Nunchaku Lite 4-bit asli

Hugging Face Diffusers kini mendukung pemuatan checkpoint Nunchaku Lite secara native melalui `from_pretrained()`, menghilangkan kebutuhan akan mesin inferensi terpisah atau kompilasi CUDA lokal. Integrasi ini memanfaatkan metode SVDQuant untuk menjalankan lapisan transformer dengan bobot dan aktivasi 4-bit (W4A4), secara signifikan mengurangi penggunaan memori sambil meningkatkan kecepatan inferensi.