github llama.cpp · 2 jam lalu · inference

llama.cpp menggabungkan DLL runtime HIP dengan rilis ROCm untuk Windows

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah memperbarui rilis ROCm-nya untuk Windows agar menggabungkan DLL runtime HIP yang diperlukan langsung di samping biner. Perubahan ini mengatasi masalah #26929 dengan memastikan runtime HIP yang benar dimuat, bukan berpotensi bertabrakan dengan salinan driver di System32.

Untuk mencapainya, proses build sekarang menyalin amdhip64_7, amd_comgr, dan rocm_kpack di samping file eksekusi. Ini menjamin bahwa aplikasi menggunakan pustaka runtime yang digabungkan alih-alih mengandalkan instalasi sistem yang mungkin menyebabkan ketidakcocokan versi atau kesalahan pemuatan.

Perbaikan ini menyelesaikan masalah ketergantungan runtime bagi pengguna yang menjalankan llama.cpp dengan ROCm 7.14 di Windows, memastikan akselerasi GPU yang stabil tanpa manajemen DLL manual.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10662 menambahkan ctx-per-slot untuk cache KV terpadu

Proyek llama.cpp merilis build b10662, memperkenalkan argumen `--kv-unified-per-slot` baru yang memungkinkan pengguna menentukan konteks per slot untuk cache KV terpadu. Perubahan ini menggantikan mekanisme fraksi konteks sebelumnya dengan slot pool konteks dan melakukan refactor pada implementasi dasarnya.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Qwen3.8-Flash-Next (qwen4exp), mengimplementasikan komponen spesifiknya termasuk hiper-koneksi, jaringan delta tergerbang, Campuran Ahli, dan embedding hash n-gram PLE.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10658 menambahkan dukungan DFlash2 dan memperbaiki bug mrope

Proyek llama.cpp merilis build b10658, memperkenalkan dukungan untuk spesifikasi DFlash2 yang mencakup konvolusi lokal dan pemilih kandidat. Pembaruan ini juga mengatasi bug mrope tertentu di dalam basis kode.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10656 membatasi memori kerja untuk menghindari pemuatan tensor besar ke RAM

Proyek llama.cpp telah merilis build b10656, yang mencakup perubahan untuk membatasi ukuran memori kerja. Modifikasi ini dirancang untuk mencegah tensor besar dimuat ke dalam RAM sistem.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10657 menambahkan kernel biner OpenCL untuk GEMO MOE

Proyek llama.cpp merilis versi b10657, memperkenalkan kernel biner OpenCL baru untuk model ahli campuran. Secara khusus, pembaruan ini menambahkan `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` dan `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` untuk mendukung komputasi efisien pada perangkat keras yang kompatibel.