github llama.cpp · baru saja · inference

llama.cpp b10669 mengikat cache KV f16 di tempat untuk jalur SDPA oneDNN

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10669, yang mencakup optimasi kinerja untuk jalur SDPA oneDNN dengan mengikat cache KV f16 di tempat.

Perubahan ini mengurangi lalu lintas memori selama chunk prefill; misalnya, pada Qwen3.8 27B dengan panjang KV aktif 34816, hal ini menurunkan lalu lintas per ubatch dari 4,56 GB menjadi lebih sedikit dengan menghindari salinan bertahap.
Binari tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Pembaruan ini memberikan pengguna kinerja inferensi yang dioptimalkan pada perangkat keras yang didukung sambil mempertahankan kompatibilitas platform yang luas.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10666 memperbaiki pengujian simpan/muat keadaan dan salinan sekuens di perangkat

Rilis llama.cpp b10666 memperluas suite test-save-load-state untuk berjalan di semua arsitektur dan menyelesaikan beberapa bug kritis dalam manajemen keadaan dan penanganan grafik. Perubahan utama meliputi perbaikan referensi menggantung pada minimax-01, penyelarasan penyalinan chunk untuk sekuens on-device, serta koreksi jumlah kepala indexer untuk deepseek4.

github llama.cpp · 16 jam lalu · 1 tayangan

llama.cpp b10662 menambahkan ctx-per-slot untuk cache KV terpadu

Proyek llama.cpp merilis build b10662, memperkenalkan argumen `--kv-unified-per-slot` baru yang memungkinkan pengguna menentukan konteks per slot untuk cache KV terpadu. Perubahan ini menggantikan mekanisme fraksi konteks sebelumnya dengan slot pool konteks dan melakukan refactor pada implementasi dasarnya.

github llama.cpp · 17 jam lalu · 7 tayangan

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Qwen3.8-Flash-Next (qwen4exp), mengimplementasikan komponen spesifiknya termasuk hiper-koneksi, jaringan delta tergerbang, Campuran Ahli, dan embedding hash n-gram PLE.

github llama.cpp · 17 jam lalu · 16 tayangan

llama.cpp b10658 menambahkan dukungan DFlash2 dan memperbaiki bug mrope

Proyek llama.cpp merilis build b10658, memperkenalkan dukungan untuk spesifikasi DFlash2 yang mencakup konvolusi lokal dan pemilih kandidat. Pembaruan ini juga mengatasi bug mrope tertentu di dalam basis kode.

github llama.cpp · 18 jam lalu · 1 tayangan

llama.cpp menggabungkan DLL runtime HIP dengan rilis ROCm untuk Windows

Proyek llama.cpp telah memperbarui rilis ROCm-nya untuk Windows agar menggabungkan DLL runtime HIP yang diperlukan langsung di samping biner. Perubahan ini mengatasi masalah #26929 dengan memastikan runtime HIP yang benar dimuat, bukan berpotensi bertabrakan dengan salinan driver di System32.