github llama.cpp · 2 jam lalu · inference

llama.cpp b10338 memperbaiki kegagalan roundtrip simpan/muat model MoE

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10338 menyelesaikan bug kritis pada penampung model yang menyebabkan model Mixture-of-Experts (MoE) dengan ahli bersama gagal dimuat setelah disimpan. Masalah ini berasal dari penampung yang secara tidak benar menulis nilai `n_ff_chexp` ke kunci `LLM_KV_EXPERT_SHARED_FEED_FORWARD_LENGTH`, yang merusak informasi bentuk tensor yang benar.

Perbaikan memastikan panggilan kedua menulis kunci `LLM_KV_EXPERT_CHUNK_FEED_FORWARD_LENGTH` yang benar alih-alih menimpa panjang feed-forward bersama.
Ini menyelesaikan kegagalan muat untuk arsitektur dengan ahli bersama, termasuk qwen2moe, qwen3-next, granite-moe, hunyuan-moe, ernie4.5, bailingmoe2, dan nemotron-h.
Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP), dan openEuler.

Perbaikan ini memastikan bahwa roundtrip simpan-dan-muat untuk model MoE dengan ahli bersama berhasil tanpa ketidakcocokan bentuk tensor.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Artikel terkait

github llama.cpp · 1 jam lalu Langsung

llama.cpp menambahkan arsitektur Granite-Switch dengan router dalam grafik untuk pemilihan LoRA per-token

Proyek llama.cpp memperkenalkan dukungan untuk arsitektur Granite-Switch, varian model padat yang menampilkan N adapter LoRA tertanam yang dipilih per-token melalui token kontrol. Implementasi ini menggantikan indeks lengket global proof-of-concept sebelumnya dengan mekanisme perhatian "router" kausal dalam grafik untuk menyelesaikan indeks adapter.

lab Hugging Face Blog · 3 jam lalu · 2 tayangan

Multiverse Computing mengurangi VRAM distilasi pengetahuan dengan kerugian KL terpotong yang digabungkan

Multiverse Computing memperkenalkan pendekatan hemat memori untuk distilasi pengetahuan model bahasa besar dengan menggabungkan kaching logit top-K offline dan kerugian divergensi Kullback-Leibler (KL) terpotong yang digabungkan. Metode ini menghilangkan kebutuhan untuk menyimpan model guru dan siswa secara bersamaan dalam memori, secara drastis mengurangi persyaratan VRAM.

github llama.cpp · 5 jam lalu

Rilis llama.cpp b10336 dengan refaktor ggml-webgpu

Proyek llama.cpp telah merilis versi b10336, yang mencakup refaktor beberapa file wgsl dan penyederhanaan flash_attn wgsl dalam komponen ggml-webgpu.

media Hugging Face Forums · 1 hari lalu · 8 tayangan

vLLM Launcher menyediakan meja kerja desktop Windows untuk inferensi LLM lokal

Sebuah proyek baru bernama vLLM Launcher telah dirilis sebagai aplikasi desktop Windows yang dirancang untuk mengelola inferensi model bahasa besar lokal melalui WSL2. Alat ini memungkinkan pengguna mengendalikan beberapa backend mesin, termasuk vLLM, SGLang, dan llama.cpp, dari satu antarmuka grafis.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10331 memperbaiki get_info server untuk melaporkan direktori kerja terisolasi yang benar

Proyek llama.cpp merilis build b10331, yang mencakup perbaikan untuk endpoint `get_info` server. Sebelumnya, ketika tidak ada direktori kerja saat ini eksplisit yang diberikan, fungsi secara salah kembali ke direktori kerja proses server, bahkan jika tools runtime dikonfigurasi.