github llama.cpp · 1 jam lalu · inference

llama.cpp b10326 memperhitungkan jalur vocoder dalam penjadwalan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10326, yang memodifikasi cara pengukuran waktu dihitung dengan memasukkan jalur vocoder.

Pembaruan memastikan bahwa `get_output` menjalankan pekerjaan gelombang yang ditunda oleh pipa, mengukurnya dari satu jendela akhir hingga satu jalur penuh tergantung pada modelnya.
Perubahan ini menjaga akurasi waktu total yang dilaporkan dan rasio audio-ke-proses.
Biner tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Modifikasi ini meningkatkan kejujuran metrik kinerja dengan memastikan bahwa beban pemrosesan audio dihitung dengan benar dalam penjadwalan yang dilaporkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

Proyek llama.cpp merilis versi b10322, yang mencakup perbaikan kritis untuk operasi GGML_OP_NORM dan GGML_OP_RMS_NORM pada Metal. Pembaruan ini menyelesaikan masalah di mana threadgroups dengan ukuran yang menyisakan kelompok SIMD parsial menyebabkan perhitungan mean dan varians yang salah akibat hilangnya jumlah parsial.

github llama.cpp · 2 jam lalu

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

llama.cpp b10322 menggabungkan beban jendela SSM_CONV untuk percepatan ~1.85x

llama.cpp b10313 menambahkan penjadwal LRU ke server

llama.cpp b10311 memperbaiki duplikasi aliran teks Qwen3-TTS

Rilis llama.cpp b10312 dengan perbaikan server untuk model sibuk