github llama.cpp · 3 hari lalu · inference

llama.cpp b10844 menambahkan operasi fusi hyper-connection Vulkan DeepSeek-V4

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10844, memperkenalkan dukungan untuk operasi fusi hyper-connection DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) di backend Vulkan. Pembaruan ini membawa Vulkan setara dengan CUDA dan Metal dalam hal optimasi spesifik ini.

Operasi dsv4_hc_comb baru menjalankan algoritma Sinkhorn penuh 20 iterasi di register, menggantikan sekitar 137 eksekusi node berurutan per situs dengan satu dispatch.
dsv4_hc_pre dan dsv4_hc_post menangani keruntuhan aliran elementwise dan fan-out menggunakan memori bersama untuk koefisien per-token.
Rantai comb Sinkhorn yang tidak difusi sebelumnya menyumbang sekitar 32% dari waktu operasi decode pada perangkat keras gfx1151 di sekitar 16k dispatch per token.
Variabel lingkungan GGML_VK_DISABLE_DSV4_HC, bersama dengan flag individual _COMB, _PRE, dan _POST, memungkinkan pengguna menonaktifkan operasi ini secara independen.

Perubahan ini menghilangkan hambatan kinerja yang disebabkan oleh rantai primitif yang tidak difusi bagi pengguna Vulkan yang menjalankan model DeepSeek-V4.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Artikel terkait

github llama.cpp · 2 hari lalu · 2 tayangan

llama.cpp menonaktifkan pemuatan tensor malas secara default pada iGPU

Proyek llama.cpp telah menonaktifkan pemuatan tensor malas secara default untuk GPU terintegrasi (iGPU) dalam rilis b10867. Perubahan ini mengatasi regresi yang diperkenalkan dalam pengaturan mode "AUTO" sebelumnya.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10864 memperbaiki eviksi checkpoint untuk model hibrida

Proyek llama.cpp merilis build b10864, yang mencakup perbaikan untuk logika eviksi jarak checkpoint di `create_checkpoint()`. Sebelumnya, aturan eviksi mempertahankan checkpoint tertua dan menghapus yang berikutnya dalam `checkpoint_min_step`, menyebabkan prompt yang lebih pendek dari ambang batas tersebut kehilangan checkpoint yang diperlukan untuk melanjutkan. Hal ini memaksa model hibrida dan rekuren untuk melakukan prefill ulang secara tidak perlu dari checkpoint sebelumnya.

github llama.cpp · 3 hari lalu · 4 tayangan

llama.cpp b10842 menambahkan dukungan HIP untuk gfx90c

Proyek llama.cpp merilis build b10842, yang memperkenalkan dukungan untuk arsitektur gfx90c melalui HIP.

media Hugging Face Forums · 3 hari lalu · 8 tayangan

AI Model Radar diluncurkan dengan kecocokan perangkat keras terukur untuk model terbuka

Sebuah situs baru bernama AI Model Radar membantu pengguna menentukan model terbuka mana yang benar-benar cocok dengan GPU atau Mac mereka menggunakan data terukur daripada estimasi. Platform ini menghitung ukuran bobot berdasarkan file GGUF yang diterbitkan secara nyata dan menghitung cache konteks lapisan demi lapisan dari konfigurasi model.

github llama.cpp · 3 hari lalu · 7 tayangan

llama.cpp b10840 menambahkan unpack Q4_K/Q5_K tanpa cabang dan prefetch L2 untuk CUDA

Proyek llama.cpp merilis versi b10840, yang memperkenalkan optimasi kinerja untuk inferensi CUDA. Pembaruan ini mengimplementasikan komputasi tanpa cabang untuk format kuantisasi Q4_K dan Q5_K untuk mempercepat perkalian matriks-vektor (mmvq).