github llama.cpp · 1 jam lalu · inference

llama.cpp b10322 menggabungkan beban jendela SSM_CONV untuk percepatan ~1.85x

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10322, yang mencakup optimasi kinerja yang menggabungkan beban jendela SSM_CONV di backend SYCL.

Pada Arc Pro B70, tes A/B yang diselingi menunjukkan percepatan 1.85x hingga 1.87x untuk bentuk tensor tertentu, dengan perubahan yang dapat diabaikan untuk n_t=1.
Benchmark pada model Qwen35 27B Q4_K - Medium yang menjalankan ssm_conv di 48 dari 64 blok menunjukkan peningkatan +2.2% dalam waktu pemrosesan prompt.
Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Pembaruan ini meningkatkan throughput inferensi untuk beban kerja yang memanfaatkan operasi SSM_CONV pada perangkat keras yang kompatibel.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10326 memperhitungkan jalur vocoder dalam penjadwalan

Proyek llama.cpp merilis build b10326, yang memodifikasi cara pengukuran waktu dihitung dengan memasukkan jalur vocoder.

github llama.cpp · baru saja Langsung

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

Proyek llama.cpp merilis versi b10322, yang mencakup perbaikan kritis untuk operasi GGML_OP_NORM dan GGML_OP_RMS_NORM pada Metal. Pembaruan ini menyelesaikan masalah di mana threadgroups dengan ukuran yang menyisakan kelompok SIMD parsial menyebabkan perhitungan mean dan varians yang salah akibat hilangnya jumlah parsial.

github llama.cpp · 3 jam lalu

llama.cpp b10326 memperhitungkan jalur vocoder dalam penjadwalan

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

llama.cpp b10313 menambahkan penjadwal LRU ke server

llama.cpp b10311 memperbaiki duplikasi aliran teks Qwen3-TTS

Rilis llama.cpp b10312 dengan perbaikan server untuk model sibuk