github llama.cpp · 2 hari lalu · inference

llama.cpp b11017 melewatkan pekerjaan MoE yang tidak perlu di jalur mul_mm coopmat1

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11017, yang mencakup optimasi Vulkan untuk melewati pekerjaan Mixture of Experts (MoE) yang tidak perlu di jalur mul_mm coopmat1.

Pembaruan ini menyediakan binaris pra-bangun untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android, dan openEuler.

Rilis ini juga mencakup antarmuka pengguna llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

Proyek llama.cpp telah merilis versi b11044, yang mencakup pembaruan pada backend hexagon untuk meningkatkan operasi image-to-column (im2col). Rilis ini menyediakan biner pra-dibangun untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan akselerator perangkat keras lainnya.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b11045 menambahkan dukungan operasi ROLL ke backend Hexagon

Proyek llama.cpp telah merilis versi b11045, yang memperkenalkan dukungan untuk operasi ROLL di dalam backend Hexagon.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b11043 memungkinkan flash-attention HMX dengan head_dim=72

Proyek llama.cpp merilis build b11043, yang mencakup perubahan pada implementasi flash-attention HMX. Pembaruan ini mengaktifkan dukungan untuk dimensi kepala yang bukan kelipatan 64, secara khusus memungkinkan konfigurasi seperti head_dim=72 dari SigLIP.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b11042 menambahkan kernel biner OpenCL A8 Q6_K

Proyek llama.cpp telah merilis versi b11042, yang memperkenalkan kernel biner OpenCL baru untuk model A8 Q6_K non-MoE. Pembaruan ini juga mencakup perbaikan kompatibilitas tata letak di dalam backend OpenCL.