github llama.cpp · 1 jam lalu · inference

llama.cpp b10330 menggabungkan rms_norm, mul, dan rope pada CUDA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10330, memperkenalkan optimasi CUDA yang menggabungkan operasi rms_norm, perkalian, dan RoPE menjadi satu kernel. Perubahan ini disertai dengan pemeriksaan rentang memori untuk operasi yang digabungkan dan kasus uji baru untuk bobot broadcast.

CUDA: gabungkan rms_norm + mul + rope (+ view + set_rows)
tests: tambahkan kasus bobot broadcast ke rms_norm_mul_rope
CUDA: periksa rentang memori sebelum penggabungan rms_norm rope
CUDA: periksa rentang memori dalam penggabungan set_rows rope

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan iOS di berbagai backend perangkat keras, termasuk CPU, Vulkan, ROCm, OpenVINO, SYCL, dan HIP.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10328 menambahkan isolasi alat server awal melalui Docker

Proyek llama.cpp telah merilis build b10328, yang memperkenalkan dukungan awal untuk mengisolasi alat di dalam komponen server menggunakan Docker. Pembaruan ini mencakup dokumentasi dan adaptasi kode untuk memisahkan sandbox I/O alat dan mengganti nama flag konfigurasi yang relevan.

github llama.cpp · 12 jam lalu · 1 tayangan

llama.cpp b10328 menambahkan isolasi alat server awal melalui Docker

llama.cpp b10327 memperbaiki jumlah thread/blok pada kernel salinan terkuantisasi

llama.cpp b10313 menambahkan penjadwal LRU ke server

Rilis llama.cpp b10312 dengan perbaikan server untuk model sibuk

llama.cpp b10307 memperbaiki parsing NVFP4 SYCL