github llama.cpp · 1 jam lalu · inference

llama.cpp b10505 menambahkan opsi preset dedup-cache-models

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10505, yang memperkenalkan opsi preset `dedup-cache-models` baru untuk komponen server.

Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.
Dukungan KleidiAI untuk macOS Apple Silicon dinonaktifkan dalam build ini.
Dukungan Ubuntu x64 ROCm 7.14 juga dinonaktifkan.
Paket UI baru tersedia untuk diunduh bersama dengan biner spesifik platform.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

Kuantisasi Cache KV Magnitudo Fourier menggandakan panjang konteks dengan memori yang sama

ntrillard menunjukkan bahwa mengkuantisasi spektrum magnitudo Fourier dari nilai cache K dan V ke 4-bit sambil mempertahankan fase pada presisi penuh mencapai pencocokan token sebesar 96,9% dengan referensi fp16 pada Gemma-3-1B, peningkatan 5-10 kali lipat dibandingkan kuantisasi min-max standar.

github llama.cpp · 4 hari lalu · 26 tayangan

llama.cpp menambahkan dukungan model Kimi-K3 dengan repacking MXFP4 dan template obrolan

Proyek llama.cpp telah menambahkan dukungan untuk model teks Kimi-K3, mengimplementasikan arsitektur perhatian hibrida KDA (linear) + MLA (penuh) bersama dengan lima fitur arsitektur spesifik yang tidak ada pada Kimi-Linear-48B yang lebih lama.

github llama.cpp · 4 hari lalu · 21 tayangan

llama.cpp b10447 mendesain ulang model utas yield_to_queue

Proyek llama.cpp telah merilis build b10447, yang mencakup desain ulang model utas `yield_to_queue`. Perubahan ini melibatkan menjalankan `common_speculative_process` di worker dan menukar desain utas worker ke utama.

github llama.cpp · 4 hari lalu · 21 tayangan

llama.cpp b10444 menambahkan dukungan model asisten MTP dan menghapus eagle3

Proyek llama.cpp telah merilis versi b10444, memperkenalkan dukungan untuk memuat model asisten Prediksi Multi-Token (MTP) melalui flag `--models-dir`. Pembaruan ini juga mencakup pemeriksaan awalan ketat untuk model MTP dalam preset dan menghapus dukungan untuk tipe draf eagle3.

github llama.cpp · 5 hari lalu · 19 tayangan

llama.cpp b10442 menambahkan Vulkan SHMEM_STRIDE_PAD untuk Intel Xe dan memperbaiki bacaan OOB

Proyek llama.cpp merilis versi b10442, memperkenalkan optimasi Vulkan spesifik untuk perangkat keras Intel Xe sambil mengatasi masalah keamanan memori dalam rutinitas perkalian matriks.