github llama.cpp · 3 jam lalu · inference

llama.cpp b11043 memungkinkan flash-attention HMX dengan head_dim=72

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11043, yang mencakup perubahan pada implementasi flash-attention HMX. Pembaruan ini mengaktifkan dukungan untuk dimensi kepala yang bukan kelipatan 64, secara khusus memungkinkan konfigurasi seperti head_dim=72 dari SigLIP.

Kernel flash-attention HMX sekarang beroperasi dengan DK/DV dibulatkan ke atas menjadi 64 dengan lane ekor diisi nol.
Binari pra-dibangun tersedia untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android, dan openEuler.

Perubahan ini memungkinkan pengguna menjalankan model dengan dimensi kepala non-standar pada perangkat keras yang didukung tanpa masalah kompatibilitas.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

Proyek llama.cpp telah merilis versi b11044, yang mencakup pembaruan pada backend hexagon untuk meningkatkan operasi image-to-column (im2col). Rilis ini menyediakan biner pra-dibangun untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan akselerator perangkat keras lainnya.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b11045 menambahkan dukungan operasi ROLL ke backend Hexagon

Proyek llama.cpp telah merilis versi b11045, yang memperkenalkan dukungan untuk operasi ROLL di dalam backend Hexagon.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b11042 menambahkan kernel biner OpenCL A8 Q6_K

Proyek llama.cpp telah merilis versi b11042, yang memperkenalkan kernel biner OpenCL baru untuk model A8 Q6_K non-MoE. Pembaruan ini juga mencakup perbaikan kompatibilitas tata letak di dalam backend OpenCL.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b11039 menambahkan dukungan pola SWA ke model-saver dan loader

Proyek llama.cpp merilis build b11039, yang memperbarui model-saver untuk menulis pola perhatian jendela geser (SWA) dan geometri MLA SWA untuk semua model yang menggunakan SWA. Perubahan ini memastikan bahwa `sliding_window_pattern` ditulis sebagai flag per-layer daripada dikompresi menjadi skalar, sehingga mempertahankan representasi data yang tepat.