github llama.cpp · 2 jam lalu · inference

llama.cpp b11045 menambahkan dukungan operasi ROLL ke backend Hexagon

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11045, yang memperkenalkan dukungan untuk operasi ROLL di dalam backend Hexagon.

Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu with CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, and SYCL), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, and ROCm 10.0), Android arm64, dan openEuler.
XCFramework untuk iOS dan build UI standalone juga disediakan.
Dukungan KleidiAI untuk macOS Apple Silicon saat ini dinonaktifkan di rilis ini.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

Proyek llama.cpp telah merilis versi b11044, yang mencakup pembaruan pada backend hexagon untuk meningkatkan operasi image-to-column (im2col). Rilis ini menyediakan biner pra-dibangun untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan akselerator perangkat keras lainnya.

github llama.cpp · 12 jam lalu · 1 tayangan

llama.cpp b11035 menambahkan kernel matmul IQ3_S MMQ untuk Vulkan

Proyek llama.cpp telah merilis versi b11035, memperkenalkan dukungan untuk kernel perkalian matriks IQ3_S MMQ di backend Vulkan-nya.

github llama.cpp · 1 hari lalu · 5 tayangan

llama.cpp b11026 melewatkan gate_up_exps untuk Qwen35MoE

Proyek llama.cpp merilis build b11026, yang memperkenalkan perubahan untuk melewati gate_up_exps ketika flag TENSOR_SKIP ditetapkan. Modifikasi ini secara khusus diperlukan untuk model Qwen35MoE di mana tensor MTP digabungkan tetapi tidak dimuat.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.