github llama.cpp · baru saja · inference

llama.cpp b10545 memperbaiki bacaan di luar batas pada matmul Metal untuk K yang bukan kelipatan 32

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10545, yang mengatasi bug kritis pada kernel perkalian matriks API tensor backend Metal. Pembaruan ini mencegah perilaku tak terdefinisi dan hasil yang rusak saat memproses tensor di mana dimensi K bukan kelipatan 32.

Operasi matmul2d sekarang menggunakan dynamic_extent untuk K alih-alih ukuran tile statis.
Tampilan tensor operand dibatasi pada rentang K valid yang tersisa pada setiap iterasi.
Perubahan ini menghilangkan bacaan di luar batas yang sebelumnya menyebabkan nilai NaN atau kerusakan data.
Kasus uji ditambahkan untuk melatih jalur K yang tidak sejajar dan memverifikasi perbaikan.

Perbaikan ini memastikan stabilitas numerik untuk model dengan dimensi matriks tidak sejajar pada perangkat Apple Silicon, mencegah kesalahan diam selama inferensi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10541 menambahkan argumen --mmproj-device untuk proyek multimodal

Proyek llama.cpp merilis build b10541, memperkenalkan argumen baris perintah `--mmproj-device` yang memungkinkan pengguna menentukan backend perangkat untuk memuat file proyeksi multimodal.

github llama.cpp · 2 jam lalu · 1 tayangan

Rilis llama.cpp b10538 dengan cache KV yang didekuantisasi untuk batch besar

Proyek llama.cpp telah merilis versi b10538, memperkenalkan optimasi kunci pada backend metal. Pembaruan ini memungkinkan dekuantisasi cache kunci-nilai (KV) secara eksklusif untuk ukuran batch yang besar.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10532 menambahkan dekuantisasi KV Metal untuk Flash Attention

Proyek llama.cpp merilis versi b10532, memperkenalkan tahap pra-pemrosesan pada backend Metal yang mendekuantisasi cache Key-Value (KV) terkuantisasi ke F16 sebelum mengeksekusi Flash Attention.

github llama.cpp · 7 jam lalu · 1 tayangan

llama.cpp b10519 melakukan refaktor penanganan tidur untuk mengizinkan akses metrik

Proyek llama.cpp merilis versi b10519, yang mencakup refaktor signifikan pada mekanisme penanganan tidur server. Perubahan ini memungkinkan endpoint /metrics tetap dapat diakses saat server berada dalam keadaan tidur.

github llama.cpp · 10 jam lalu · 2 tayangan

llama.cpp b10517 menambahkan optimasi dequantisasi FA untuk Vulkan dan perbaikan

Proyek llama.cpp merilis build b10517, memperkenalkan beberapa peningkatan khusus Vulkan pada jalur dequantisasi flash attention (FA). Perubahan utama termasuk melakukan dequantisasi q8_0 KV sekali di coopmat1, melewati jalur dequantisasi FA pada coopmat2, dan mengecualikan Intel Xe1 dari jalur dequantisasi FA.