github llama.cpp · 1 hari lalu · inference

llama.cpp b11024 memperbarui OpenVINO ke 2026.4 dan memperbaiki peringatan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11024, yang terutama memperbarui integrasi OpenVINO ke versi 2026.4.

Memperbarui ggml-openvino untuk menggunakan OpenVINO 2026.4.
Memperbaiki peringatan clangd dan MSVC di backend OpenVINO.
Menyelesaikan masalah cast int-ke-pointer, menerapkan tautan internal, dan menghindari kasus switch duplikat.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, CUDA, ROCm, SYCL), Windows (CPU, Vulkan, CUDA, OpenCL, ROCm, SYCL), Android, dan openEuler.

Rilis ini memastikan kompatibilitas dengan toolkit OpenVINO terbaru sambil menangani peringatan kompiler dan masalah konsistensi kode internal.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b11042 menambahkan kernel biner OpenCL A8 Q6_K

Proyek llama.cpp telah merilis versi b11042, yang memperkenalkan kernel biner OpenCL baru untuk model A8 Q6_K non-MoE. Pembaruan ini juga mencakup perbaikan kompatibilitas tata letak di dalam backend OpenCL.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b11039 menambahkan dukungan pola SWA ke model-saver dan loader

Proyek llama.cpp merilis build b11039, yang memperbarui model-saver untuk menulis pola perhatian jendela geser (SWA) dan geometri MLA SWA untuk semua model yang menggunakan SWA. Perubahan ini memastikan bahwa `sliding_window_pattern` ditulis sebagai flag per-layer daripada dikompresi menjadi skalar, sehingga mempertahankan representasi data yang tepat.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b11025 memperluas dukungan Nemotron MTP

Proyek llama.cpp telah merilis build b11025, yang mencakup ekstensi dukungan Prediksi Multi-Token (MTP) Nemotron.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.