github llama.cpp · 1 jam lalu · inference

llama.cpp b10159 menambahkan kernel FWHT untuk backend Metal

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10159, yang memperkenalkan kernel Transformasi Walsh-Hadamard Cepat (FWHT) untuk backend Metal. Pembaruan ini mencakup detail implementasi yang masih dalam tahap pengembangan serta penjaga bentuk dan penyesuaian pemformatan kode.

Menambahkan dukungan kernel FWHT untuk backend Metal di ggml-metal.
Termasuk perbaikan untuk masalah penyempitan dan koreksi gaya minor.
Menyediakan biner untuk macOS, iOS, Linux, Windows, Android, dan openEuler melalui arsitektur CPU, GPU (CUDA, Vulkan, ROCm, SYCL, OpenVINO), dan Apple Silicon.

Rilis ini membuat kernel Metal baru tersedia bagi pengguna di platform yang kompatibel.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10158 menambahkan dukungan eagle3-v3 untuk model gpt-oss

Proyek llama.cpp telah merilis build b10158, yang memperkenalkan dukungan untuk arsitektur eagle3-v3 di dalam model gpt-oss.

github llama.cpp · 5 hari lalu · 2 tayangan

llama.cpp b10098 memperbarui operasi aktivasi Hexagon

Proyek llama.cpp merilis versi b10098, yang mencakup pembaruan pada operasi aktivasi Hexagon. Rilis ini menyediakan biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend CPU dan GPU.

lab Hugging Face Blog · 5 hari lalu · 1 tayangan

Diffusers menambahkan dukungan inferensi Nunchaku Lite 4-bit asli

Hugging Face Diffusers kini mendukung pemuatan checkpoint Nunchaku Lite secara native melalui `from_pretrained()`, menghilangkan kebutuhan akan mesin inferensi terpisah atau kompilasi CUDA lokal. Integrasi ini memanfaatkan metode SVDQuant untuk menjalankan lapisan transformer dengan bobot dan aktivasi 4-bit (W4A4), secara signifikan mengurangi penggunaan memori sambil meningkatkan kecepatan inferensi.

github llama.cpp · 6 hari lalu · 1 tayangan

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.

github llama.cpp · 6 hari lalu

llama.cpp b10085 memperbaiki grounding Qwen3-VL dengan menyelaraskan interpolasi embedding posisi

Proyek llama.cpp merilis build b10085, yang mencakup perbaikan untuk interpolasi embedding posisi model visi Qwen3-VL guna menyelesaikan ketidaksesuaian koordinat grounding.