github llama.cpp · baru saja · inference

llama.cpp b10164 menambahkan matmul SSD terfragmentasi untuk akselerasi prefill Mamba-2

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10164, memperkenalkan implementasi perkalian matriks SSD terfragmentasi baru yang dirancang untuk mempercepat fase prefill model Mamba-2.

ggml-cuda: tambahkan matmul SSD terfragmentasi untuk akselerasi prefill Mamba-2
Perbaikan koreksi CUDA SSD dengan mempromosikan s0_stride_seq ke int64_t dan meningkatkan penggabungan memori di ssm_ssd_prepare_dt_kernel
Materialisasi matriks M yang dilebur ke dalam kernel pre_matmul
Memperbaiki race baca-tulis sdata di loop pemindaian fallback prepare_dt
Menambahkan perbaikan CICD SSD untuk CUDA, HIP, MUSA, dan MSVC

Pembaruan ini menyediakan kernel GPU yang dioptimalkan untuk arsitektur model ruang keadaan tertentu sambil mempertahankan kompatibilitas luas dengan backend CPU, Vulkan, ROCm, OpenVINO, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10159 menambahkan kernel FWHT untuk backend Metal

Proyek llama.cpp merilis build b10159, yang memperkenalkan kernel Transformasi Walsh-Hadamard Cepat (FWHT) untuk backend Metal. Pembaruan ini mencakup detail implementasi yang masih dalam tahap pengembangan serta penjaga bentuk dan penyesuaian pemformatan kode.

github llama.cpp · 6 jam lalu · 2 tayangan

llama.cpp b10158 menambahkan dukungan eagle3-v3 untuk model gpt-oss

Proyek llama.cpp telah merilis build b10158, yang memperkenalkan dukungan untuk arsitektur eagle3-v3 di dalam model gpt-oss.

github llama.cpp · 5 hari lalu · 2 tayangan

llama.cpp b10098 memperbarui operasi aktivasi Hexagon

Proyek llama.cpp merilis versi b10098, yang mencakup pembaruan pada operasi aktivasi Hexagon. Rilis ini menyediakan biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend CPU dan GPU.

lab Hugging Face Blog · 5 hari lalu · 1 tayangan

Diffusers menambahkan dukungan inferensi Nunchaku Lite 4-bit asli

Hugging Face Diffusers kini mendukung pemuatan checkpoint Nunchaku Lite secara native melalui `from_pretrained()`, menghilangkan kebutuhan akan mesin inferensi terpisah atau kompilasi CUDA lokal. Integrasi ini memanfaatkan metode SVDQuant untuk menjalankan lapisan transformer dengan bobot dan aktivasi 4-bit (W4A4), secara signifikan mengurangi penggunaan memori sambil meningkatkan kecepatan inferensi.

github llama.cpp · 6 hari lalu · 1 tayangan

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.