github llama.cpp · 1 jam lalu · inference

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11044, yang mencakup pembaruan pada backend hexagon untuk meningkatkan operasi image-to-column (im2col). Rilis ini menyediakan biner pra-dibangun untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan akselerator perangkat keras lainnya.

ggml-hexagon sekarang menerima operasi IM2COL 1D dan berpadding.
Kernel IM2COL pure-DDR menjadi aware 2D.
Jalur cepat patch-embed IM2COL DMA diperluas ke 1D.
Kernel general blocked-staging IM2COL DMA ditambahkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b11045 menambahkan dukungan operasi ROLL ke backend Hexagon

Proyek llama.cpp telah merilis versi b11045, yang memperkenalkan dukungan untuk operasi ROLL di dalam backend Hexagon.

github llama.cpp · 12 jam lalu · 1 tayangan

llama.cpp b11035 menambahkan kernel matmul IQ3_S MMQ untuk Vulkan

Proyek llama.cpp telah merilis versi b11035, memperkenalkan dukungan untuk kernel perkalian matriks IQ3_S MMQ di backend Vulkan-nya.

github llama.cpp · 1 hari lalu · 5 tayangan

llama.cpp b11026 melewatkan gate_up_exps untuk Qwen35MoE

Proyek llama.cpp merilis build b11026, yang memperkenalkan perubahan untuk melewati gate_up_exps ketika flag TENSOR_SKIP ditetapkan. Modifikasi ini secara khusus diperlukan untuk model Qwen35MoE di mana tensor MTP digabungkan tetapi tidak dimuat.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.