github llama.cpp · 1 hari lalu · inference

llama.cpp b10354 memperbaiki mask afinitas CPU di Android

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10354, yang mencakup perbaikan untuk mask afinitas CPU yang diabaikan pada perangkat Android.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL, OpenVINO), dan Android (arm64).

Dukungan KleidiAI untuk macOS Apple Silicon tetap dinonaktifkan dalam build ini.

Build openEuler sebagian besar dinonaktifkan, dengan hanya konfigurasi x86 dan aarch64 tertentu yang tersedia.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10344 menambahkan dukungan MTP untuk model Nemotron

Proyek llama.cpp telah merilis build b10344, yang memperkenalkan dukungan Multi-Token Prediction (MTP) secara khusus untuk model Nemotron dan Nemotron Nano.

github llama.cpp · 2 hari lalu

llama.cpp menambahkan arsitektur Granite-Switch dengan router dalam grafik untuk pemilihan LoRA per-token

Proyek llama.cpp memperkenalkan dukungan untuk arsitektur Granite-Switch, varian model padat yang menampilkan N adapter LoRA tertanam yang dipilih per-token melalui token kontrol. Implementasi ini menggantikan indeks lengket global proof-of-concept sebelumnya dengan mekanisme perhatian "router" kausal dalam grafik untuk menyelesaikan indeks adapter.

github llama.cpp · 2 hari lalu

Rilis llama.cpp b10336 dengan refaktor ggml-webgpu

Proyek llama.cpp telah merilis versi b10336, yang mencakup refaktor beberapa file wgsl dan penyederhanaan flash_attn wgsl dalam komponen ggml-webgpu.

media Hugging Face Forums · 3 hari lalu · 8 tayangan

vLLM Launcher menyediakan meja kerja desktop Windows untuk inferensi LLM lokal

Sebuah proyek baru bernama vLLM Launcher telah dirilis sebagai aplikasi desktop Windows yang dirancang untuk mengelola inferensi model bahasa besar lokal melalui WSL2. Alat ini memungkinkan pengguna mengendalikan beberapa backend mesin, termasuk vLLM, SGLang, dan llama.cpp, dari satu antarmuka grafis.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp b10330 menggabungkan rms_norm, mul, dan rope pada CUDA

Proyek llama.cpp telah merilis versi b10330, memperkenalkan optimasi CUDA yang menggabungkan operasi rms_norm, perkalian, dan RoPE menjadi satu kernel. Perubahan ini disertai dengan pemeriksaan rentang memori untuk operasi yang digabungkan dan kasus uji baru untuk bobot broadcast.