github llama.cpp · 1 hari lalu · inference

llama.cpp b11026 melewatkan gate_up_exps untuk Qwen35MoE

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11026, yang memperkenalkan perubahan untuk melewati gate_up_exps ketika flag TENSOR_SKIP ditetapkan. Modifikasi ini secara khusus diperlukan untuk model Qwen35MoE di mana tensor MTP digabungkan tetapi tidak dimuat.

Rilis ini menyediakan biner dan framework untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), dan openEuler.

Pembaruan ini memastikan kompatibilitas dengan konfigurasi Qwen35MoE tertentu dengan menangani tensor MTP yang digabungkan tetapi tidak dimuat dengan benar.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

Proyek llama.cpp telah merilis versi b11044, yang mencakup pembaruan pada backend hexagon untuk meningkatkan operasi image-to-column (im2col). Rilis ini menyediakan biner pra-dibangun untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan akselerator perangkat keras lainnya.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b11045 menambahkan dukungan operasi ROLL ke backend Hexagon

Proyek llama.cpp telah merilis versi b11045, yang memperkenalkan dukungan untuk operasi ROLL di dalam backend Hexagon.

github llama.cpp · 12 jam lalu · 1 tayangan

llama.cpp b11035 menambahkan kernel matmul IQ3_S MMQ untuk Vulkan

Proyek llama.cpp telah merilis versi b11035, memperkenalkan dukungan untuk kernel perkalian matriks IQ3_S MMQ di backend Vulkan-nya.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.