github llama.cpp · 12 jam lalu · inference

llama.cpp b11035 menambahkan kernel matmul IQ3_S MMQ untuk Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11035, memperkenalkan dukungan untuk kernel perkalian matriks IQ3_S MMQ di backend Vulkan-nya.

Pembaruan ini mencakup kernel matmul IQ3_S MMQ baru untuk Vulkan.
Block_a_to_shmem sekarang melakukan pemuatan 2-byte untuk mengoptimalkan akses memori.
Pemeriksaan penyesuaian telah disesuaikan karena IQ3_S menggunakan ukuran tile K.
Binari tersedia untuk macOS, Linux, Windows, Android, dan openEuler di platform CPU, CUDA, ROCm, OpenVINO, SYCL, dan OpenCL.

Rilis ini menyediakan binari yang diperbarui untuk berbagai sistem operasi dan akselerator perangkat keras, memungkinkan pengguna memanfaatkan dukungan kuantisasi Vulkan baru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

Proyek llama.cpp telah merilis versi b11044, yang mencakup pembaruan pada backend hexagon untuk meningkatkan operasi image-to-column (im2col). Rilis ini menyediakan biner pra-dibangun untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan akselerator perangkat keras lainnya.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b11045 menambahkan dukungan operasi ROLL ke backend Hexagon

Proyek llama.cpp telah merilis versi b11045, yang memperkenalkan dukungan untuk operasi ROLL di dalam backend Hexagon.

github llama.cpp · 1 hari lalu · 5 tayangan

llama.cpp b11026 melewatkan gate_up_exps untuk Qwen35MoE

Proyek llama.cpp merilis build b11026, yang memperkenalkan perubahan untuk melewati gate_up_exps ketika flag TENSOR_SKIP ditetapkan. Modifikasi ini secara khusus diperlukan untuk model Qwen35MoE di mana tensor MTP digabungkan tetapi tidak dimuat.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.