github llama.cpp · 2 hari lalu · inference

llama.cpp b11020 menambahkan pembatas pesan ke parser DeepSeek V3.2/V4

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11020, yang mencakup pembaruan fungsional pada logika parsing chat. Perubahan utamanya adalah penambahan pembatas pesan secara khusus untuk parser model DeepSeek V3.2 dan V4.

Menambahkan pembatas pesan ke parser DeepSeek V3.2/V4 di pull #29008.
Binari dirilis untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android, dan openEuler.

Pembaruan ini memastikan parsing struktur percakapan yang benar untuk model DeepSeek dalam kerangka kerja llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

Proyek llama.cpp telah merilis versi b11044, yang mencakup pembaruan pada backend hexagon untuk meningkatkan operasi image-to-column (im2col). Rilis ini menyediakan biner pra-dibangun untuk macOS, Linux, Windows, Android, dan openEuler di CPU, GPU, dan akselerator perangkat keras lainnya.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

llama.cpp b11044 memperbarui hexagon im2col dan merilis biner

llama.cpp b11045 menambahkan dukungan operasi ROLL ke backend Hexagon

llama.cpp b11035 menambahkan kernel matmul IQ3_S MMQ untuk Vulkan

llama.cpp b11026 melewatkan gate_up_exps untuk Qwen35MoE