github llama.cpp · 1 jam lalu · inference

Rilis llama.cpp b10538 dengan cache KV yang didekuantisasi untuk batch besar

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10538, memperkenalkan optimasi kunci pada backend metal. Pembaruan ini memungkinkan dekuantisasi cache kunci-nilai (KV) secara eksklusif untuk ukuran batch yang besar.

Perubahan utama ada pada backend metal, yang sekarang menerapkan caching KV yang didekuantisasi hanya saat memproses batch besar.
Binari tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Dukungan KleidiAI pada Apple Silicon untuk macOS dan ROCm 7.14 di Ubuntu dinonaktifkan dalam rilis ini.

Optimasi ini bertujuan untuk meningkatkan efisiensi memori atau kinerja untuk beban kerja yang melibatkan ukuran batch besar pada perangkat keras yang kompatibel.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10545 memperbaiki bacaan di luar batas pada matmul Metal untuk K yang bukan kelipatan 32

Proyek llama.cpp merilis build b10545, yang mengatasi bug kritis pada kernel perkalian matriks API tensor backend Metal. Pembaruan ini mencegah perilaku tak terdefinisi dan hasil yang rusak saat memproses tensor di mana dimensi K bukan kelipatan 32.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10532 menambahkan dekuantisasi KV Metal untuk Flash Attention

Proyek llama.cpp merilis versi b10532, memperkenalkan tahap pra-pemrosesan pada backend Metal yang mendekuantisasi cache Key-Value (KV) terkuantisasi ke F16 sebelum mengeksekusi Flash Attention.

github llama.cpp · 6 jam lalu · 1 tayangan

llama.cpp b10519 melakukan refaktor penanganan tidur untuk mengizinkan akses metrik

Proyek llama.cpp merilis versi b10519, yang mencakup refaktor signifikan pada mekanisme penanganan tidur server. Perubahan ini memungkinkan endpoint /metrics tetap dapat diakses saat server berada dalam keadaan tidur.

github llama.cpp · 9 jam lalu · 2 tayangan

llama.cpp b10517 menambahkan optimasi dequantisasi FA untuk Vulkan dan perbaikan

Proyek llama.cpp merilis build b10517, memperkenalkan beberapa peningkatan khusus Vulkan pada jalur dequantisasi flash attention (FA). Perubahan utama termasuk melakukan dequantisasi q8_0 KV sekali di coopmat1, melewati jalur dequantisasi FA pada coopmat2, dan mengecualikan Intel Xe1 dari jalur dequantisasi FA.

media r/LocalLLaMA · 14 jam lalu · 2 tayangan

Model MoE G9v3-39A5B menunjukkan hasil kuat di artificialanalysis

Model G9v3-39A5B menarik perhatian karena performanya di artificialanalysis, di mana dilaporkan berada di atas Qwen 3.6 27B.