github llama.cpp · 1 jam lalu · inference

Rilis llama.cpp b10336 dengan refaktor ggml-webgpu

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10336, yang mencakup refaktor beberapa file wgsl dan penyederhanaan flash_attn wgsl dalam komponen ggml-webgpu.

Pembaruan ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu dengan CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan platform openEuler.

Rilis ini juga mencakup build UI standar bagi pengguna untuk berinteraksi dengan mesin inferensi model.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

vLLM Launcher menyediakan meja kerja desktop Windows untuk inferensi LLM lokal

Sebuah proyek baru bernama vLLM Launcher telah dirilis sebagai aplikasi desktop Windows yang dirancang untuk mengelola inferensi model bahasa besar lokal melalui WSL2. Alat ini memungkinkan pengguna mengendalikan beberapa backend mesin, termasuk vLLM, SGLang, dan llama.cpp, dari satu antarmuka grafis.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10330 menggabungkan rms_norm, mul, dan rope pada CUDA

Proyek llama.cpp telah merilis versi b10330, memperkenalkan optimasi CUDA yang menggabungkan operasi rms_norm, perkalian, dan RoPE menjadi satu kernel. Perubahan ini disertai dengan pemeriksaan rentang memori untuk operasi yang digabungkan dan kasus uji baru untuk bobot broadcast.

github llama.cpp · 2 hari lalu · 6 tayangan

llama.cpp b10328 menambahkan isolasi alat server awal melalui Docker

Proyek llama.cpp telah merilis build b10328, yang memperkenalkan dukungan awal untuk mengisolasi alat di dalam komponen server menggunakan Docker. Pembaruan ini mencakup dokumentasi dan adaptasi kode untuk memisahkan sandbox I/O alat dan mengganti nama flag konfigurasi yang relevan.

github llama.cpp · 2 hari lalu · 5 tayangan

llama.cpp b10327 memperbaiki jumlah thread/blok pada kernel salinan terkuantisasi

Proyek llama.cpp merilis versi b10327, yang mencakup perbaikan untuk jumlah thread dan blok dalam peluncuran kernel salinan terkuantisasi di CUDA. Pembaruan ini mengatasi masalah yang diidentifikasi dalam pull request #26731.

github llama.cpp · 3 hari lalu · 7 tayangan

llama.cpp b10313 menambahkan penjadwal LRU ke server

Proyek llama.cpp telah merilis versi b10313, yang memperkenalkan penjadwal Least Recently Used (LRU) untuk komponen servernya. Pembaruan ini mencakup penanganan penggabungan permintaan dan perbaikan untuk kasus streaming.