github llama.cpp · 2 hari lalu · inference

llama.cpp b11013 memperbaiki penyesuaian buffer_reference pada shader im2col untuk Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11013 mengatasi kesalahan validasi di Vulkan dengan memperbaiki penyesuaian buffer_reference pada shader im2col dan im2col_3d. Perbaikan ini menyelesaikan issue #28960 dengan menyesuaikan stride pointer ke ukuran penulisan aktual, menghilangkan hit validasi GPU-AV.

Memperbaiki VUID-RuntimeSpirv-PhysicalStorageBuffer64-06315 yang dipicu oleh penulisan tidak sejajar di im2col.comp dan im2col_3d.comp.
Menetapkan buffer_reference_align = D_SIZE agar sesuai dengan definisi per-varian untuk float (4) dan float16_t (2).
Mengurangi hit validasi dari 20 menjadi 0 untuk operasi IM2COL dan IM2COL_3D.

Perubahan ini memastikan perilaku validasi Vulkan yang benar untuk inferensi yang dipercepat GPU pada platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

Proyek llama.cpp telah merilis versi b11044, yang mencakup pembaruan pada backend hexagon untuk meningkatkan operasi image-to-column (im2col). Rilis ini menyediakan biner pra-dibangun untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan akselerator perangkat keras lainnya.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b11045 menambahkan dukungan operasi ROLL ke backend Hexagon

Proyek llama.cpp telah merilis versi b11045, yang memperkenalkan dukungan untuk operasi ROLL di dalam backend Hexagon.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b11043 memungkinkan flash-attention HMX dengan head_dim=72

Proyek llama.cpp merilis build b11043, yang mencakup perubahan pada implementasi flash-attention HMX. Pembaruan ini mengaktifkan dukungan untuk dimensi kepala yang bukan kelipatan 64, secara khusus memungkinkan konfigurasi seperti head_dim=72 dari SigLIP.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b11042 menambahkan kernel biner OpenCL A8 Q6_K

Proyek llama.cpp telah merilis versi b11042, yang memperkenalkan kernel biner OpenCL baru untuk model A8 Q6_K non-MoE. Pembaruan ini juga mencakup perbaikan kompatibilitas tata letak di dalam backend OpenCL.