github llama.cpp · 2 jam lalu · inference

llama.cpp b10344 menambahkan dukungan MTP untuk model Nemotron

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10344, yang memperkenalkan dukungan Multi-Token Prediction (MTP) secara khusus untuk model Nemotron dan Nemotron Nano.

Menambahkan dukungan MTP untuk model Nemotron Nano.
Memperkenalkan konfigurasi mtp_flags untuk model Nemotron.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), dan openEuler.

Pembaruan ini memungkinkan pengguna memanfaatkan kemampuan MTP dengan model Nemotron di berbagai platform perangkat keras dan sistem operasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp menambahkan arsitektur Granite-Switch dengan router dalam grafik untuk pemilihan LoRA per-token

Proyek llama.cpp memperkenalkan dukungan untuk arsitektur Granite-Switch, varian model padat yang menampilkan N adapter LoRA tertanam yang dipilih per-token melalui token kontrol. Implementasi ini menggantikan indeks lengket global proof-of-concept sebelumnya dengan mekanisme perhatian "router" kausal dalam grafik untuk menyelesaikan indeks adapter.

github llama.cpp · 11 jam lalu

Rilis llama.cpp b10336 dengan refaktor ggml-webgpu

Proyek llama.cpp telah merilis versi b10336, yang mencakup refaktor beberapa file wgsl dan penyederhanaan flash_attn wgsl dalam komponen ggml-webgpu.

media Hugging Face Forums · 2 hari lalu · 8 tayangan

vLLM Launcher menyediakan meja kerja desktop Windows untuk inferensi LLM lokal

Sebuah proyek baru bernama vLLM Launcher telah dirilis sebagai aplikasi desktop Windows yang dirancang untuk mengelola inferensi model bahasa besar lokal melalui WSL2. Alat ini memungkinkan pengguna mengendalikan beberapa backend mesin, termasuk vLLM, SGLang, dan llama.cpp, dari satu antarmuka grafis.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10330 menggabungkan rms_norm, mul, dan rope pada CUDA

Proyek llama.cpp telah merilis versi b10330, memperkenalkan optimasi CUDA yang menggabungkan operasi rms_norm, perkalian, dan RoPE menjadi satu kernel. Perubahan ini disertai dengan pemeriksaan rentang memori untuk operasi yang digabungkan dan kasus uji baru untuk bobot broadcast.

github llama.cpp · 2 hari lalu · 6 tayangan

llama.cpp b10328 menambahkan isolasi alat server awal melalui Docker

Proyek llama.cpp telah merilis build b10328, yang memperkenalkan dukungan awal untuk mengisolasi alat di dalam komponen server menggunakan Docker. Pembaruan ini mencakup dokumentasi dan adaptasi kode untuk memisahkan sandbox I/O alat dan mengganti nama flag konfigurasi yang relevan.