github llama.cpp · baru saja · inference

llama.cpp b10414 menambahkan dukungan TQ2_0 dan mengoptimalkan kernel mul_mv

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10414, memperkenalkan dukungan untuk jenis kuantisasi ternary GGML_TYPE_TQ2_0 di backend Metal. Pembaruan ini juga mencakup optimasi pada kernel mul_mv tensor kontigu (cont).

Menambahkan dukungan GGML_TYPE_TQ2_0 (ternary, 2 bit per elemen) ke backend Metal.
Mengoptimalkan kernel mul_mv dengan beralih dari operasi integer ke operasi float.
Meningkatkan kinerja melalui jumlah yang dihitung sebelumnya, koefisien yang dipindahkan, dan pemuatan y yang kontigu.

Rilis ini menyediakan biner yang diperbarui untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, Vulkan, ROCm, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10354 memperbaiki mask afinitas CPU di Android

Proyek llama.cpp telah merilis versi b10354, yang mencakup perbaikan untuk mask afinitas CPU yang diabaikan pada perangkat Android.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp b10344 menambahkan dukungan MTP untuk model Nemotron

Proyek llama.cpp telah merilis build b10344, yang memperkenalkan dukungan Multi-Token Prediction (MTP) secara khusus untuk model Nemotron dan Nemotron Nano.

github llama.cpp · 3 hari lalu · 1 tayangan

llama.cpp menambahkan arsitektur Granite-Switch dengan router dalam grafik untuk pemilihan LoRA per-token

Proyek llama.cpp memperkenalkan dukungan untuk arsitektur Granite-Switch, varian model padat yang menampilkan N adapter LoRA tertanam yang dipilih per-token melalui token kontrol. Implementasi ini menggantikan indeks lengket global proof-of-concept sebelumnya dengan mekanisme perhatian "router" kausal dalam grafik untuk menyelesaikan indeks adapter.

github llama.cpp · 3 hari lalu

Rilis llama.cpp b10336 dengan refaktor ggml-webgpu

Proyek llama.cpp telah merilis versi b10336, yang mencakup refaktor beberapa file wgsl dan penyederhanaan flash_attn wgsl dalam komponen ggml-webgpu.

media Hugging Face Forums · 5 hari lalu · 9 tayangan

vLLM Launcher menyediakan meja kerja desktop Windows untuk inferensi LLM lokal

Sebuah proyek baru bernama vLLM Launcher telah dirilis sebagai aplikasi desktop Windows yang dirancang untuk mengelola inferensi model bahasa besar lokal melalui WSL2. Alat ini memungkinkan pengguna mengendalikan beberapa backend mesin, termasuk vLLM, SGLang, dan llama.cpp, dari satu antarmuka grafis.