github llama.cpp · 5 jam lalu · inference

llama.cpp b11042 menambahkan kernel biner OpenCL A8 Q6_K

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11042, yang memperkenalkan kernel biner OpenCL baru untuk model A8 Q6_K non-MoE. Pembaruan ini juga mencakup perbaikan kompatibilitas tata letak di dalam backend OpenCL.

Menambahkan kernel OpenCL `kernel_gemm_noshuffle_q6_k_f32_32b_trans_ila_a8_bin`.
Memecahkan masalah kompatibilitas tata letak dalam implementasi OpenCL.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), dan openEuler.

Rilis ini memperluas dukungan perangkat keras untuk format kuantisasi tertentu pada perangkat OpenCL sambil mempertahankan kompatibilitas luas di seluruh sistem operasi utama dan arsitektur GPU.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b11039 menambahkan dukungan pola SWA ke model-saver dan loader

Proyek llama.cpp merilis build b11039, yang memperbarui model-saver untuk menulis pola perhatian jendela geser (SWA) dan geometri MLA SWA untuk semua model yang menggunakan SWA. Perubahan ini memastikan bahwa `sliding_window_pattern` ditulis sebagai flag per-layer daripada dikompresi menjadi skalar, sehingga mempertahankan representasi data yang tepat.

github llama.cpp · 1 hari lalu · 6 tayangan

llama.cpp b11024 memperbarui OpenVINO ke 2026.4 dan memperbaiki peringatan

Proyek llama.cpp merilis build b11024, yang terutama memperbarui integrasi OpenVINO ke versi 2026.4.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b11025 memperluas dukungan Nemotron MTP

Proyek llama.cpp telah merilis build b11025, yang mencakup ekstensi dukungan Prediksi Multi-Token (MTP) Nemotron.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.