github llama.cpp · 2 hari lalu · inference

llama.cpp b11016 menggabungkan epilogue SiLU ke dalam kernel ssm_conv

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11016, yang mencakup pembaruan teknis untuk backend SYCL. Perubahan utamanya adalah penggabungan epilogue SiLU ke dalam kernel ssm_conv, sebagaimana dijelaskan secara rinci di pull request #28929.

Rilis ini menyediakan binaris pra-bangun untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu with CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL FP32/FP16, dan Vulkan), Windows (CPU, CUDA 12/13, OpenCL Adreno, Vulkan, OpenVINO, SYCL, dan ROCm 10.0), Android arm64, dan openEuler x86/aarch64.

Pembaruan ini juga mencakup UI llama.cpp dan attestations untuk verifikasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b11042 menambahkan kernel biner OpenCL A8 Q6_K

Proyek llama.cpp telah merilis versi b11042, yang memperkenalkan kernel biner OpenCL baru untuk model A8 Q6_K non-MoE. Pembaruan ini juga mencakup perbaikan kompatibilitas tata letak di dalam backend OpenCL.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b11039 menambahkan dukungan pola SWA ke model-saver dan loader

Proyek llama.cpp merilis build b11039, yang memperbarui model-saver untuk menulis pola perhatian jendela geser (SWA) dan geometri MLA SWA untuk semua model yang menggunakan SWA. Perubahan ini memastikan bahwa `sliding_window_pattern` ditulis sebagai flag per-layer daripada dikompresi menjadi skalar, sehingga mempertahankan representasi data yang tepat.

github llama.cpp · 1 hari lalu · 6 tayangan

llama.cpp b11024 memperbarui OpenVINO ke 2026.4 dan memperbaiki peringatan

Proyek llama.cpp merilis build b11024, yang terutama memperbarui integrasi OpenVINO ke versi 2026.4.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b11025 memperluas dukungan Nemotron MTP

Proyek llama.cpp telah merilis build b11025, yang mencakup ekstensi dukungan Prediksi Multi-Token (MTP) Nemotron.