github llama.cpp · 13 jam lalu · inference

llama.cpp b10707 mengoptimalkan pemindaian sel cache KV untuk generasi yang lebih cepat

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10707, yang mencakup optimasi kinerja pada penanganan cache nilai-kunci (KV). Pembaruan ini memodifikasi fungsi `for_each_token_in` untuk menghentikan pemindaian begitu semua sekuens dalam sel tertentu telah dilihat, alih-alih mengiterasi melalui semua sekuens maksimum yang mungkin.

Perubahan ini menargetkan jalur n-gram melalui pemanggil `get_prev_tokens`.
Pada RTX PRO 6000 dengan Qwen3.8-Flash-Next UD-Q4_K_XL, kecepatan generasi meningkat dari 56,3 menjadi 74,3 tok/s pada konteks 55k.
Pada konteks 132k, kecepatan generasi meningkat dari 33,6 menjadi 50,9 tok/s.
Optimasi ini berskala dengan jumlah sel yang digunakan, sehingga keuntungan lebih terlihat pada konteks yang lebih panjang sambil membiarkan pemrosesan prompt tetap tidak berubah.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10721 memperbaiki crash WebGPU dan menambahkan dukungan CUDA 13.4 untuk Windows

Proyek llama.cpp telah merilis build b10721, yang mencakup perbaikan kritis untuk backend WebGPU dan memperluas dukungan perangkat keras di Windows.

github llama.cpp · 2 jam lalu

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b10715 menggabungkan encoder DFlash ke dalam injeksi cache KV

Proyek llama.cpp merilis build b10715, yang mencakup optimasi kunci pada implementasi DFlash. Encoder DFlash sekarang digabungkan langsung ke dalam proses injeksi cache KV selama decoding.

github llama.cpp · 6 jam lalu · 1 tayangan

llama.cpp b10714 menyetel baris mat-vec Vulkan untuk Strix Halo

Proyek llama.cpp merilis build b10714, yang mencakup optimasi khusus untuk backend Vulkan yang menargetkan perangkat keras AMD Strix Halo. Pembaruan ini menyesuaikan jumlah baris perkalian matriks-vektor untuk meningkatkan kinerja selama inferensi batch.

github llama.cpp · 12 jam lalu · 3 tayangan

llama.cpp b10706 menambahkan dukungan SWIGLU_CLAMP dan shader Vulkan

Proyek llama.cpp telah merilis build b10706, memperkenalkan fungsionalitas baru ke backend ggml. Pembaruan ini mencakup penambahan SWIGLU_CLAMP dan implementasi shader Vulkan baru.