github llama.cpp · 2 hari lalu · inference

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.

Memperbaiki gguf_init_from_file_ptr untuk mengisi bagian data dari awal GGUF, mencegah kesalahan pada file tertanam yang tidak sejajar.
Menambahkan llama_adapter_lora_init_from_file_ptr untuk memungkinkan pemuatan adapter LoRA melalui aliran FILE*.
Menonaktifkan mmap dengan peringatan ketika bagian data tertanam tidak sejajar, menggantikan assertion sebelumnya di ggml.
Menyertakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Android, Windows, dan openEuler.

Rilis ini memastikan operasi yang andal untuk file GGUF yang tertanam dalam wadah lain atau pada offset file sembarang.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

github llama.cpp · 2 hari lalu · 7 tayangan

llama.cpp b11006 menambahkan dukungan Hexagon untuk K-Quants Q4_K dan Q6_K

Proyek llama.cpp merilis versi b11006, memperkenalkan dukungan untuk prosesor Qualcomm Hexagon guna menangani format K-Quantization. Pembaruan ini mengimplementasikan kernel spesifik untuk tingkat kuantisasi Q4_K dan Q6_K pada arsitektur Hexagon.

github llama.cpp · 4 hari lalu · 10 tayangan

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.

github llama.cpp · 11 hari lalu · 24 tayangan

llama.cpp b10840 menambahkan unpack Q4_K/Q5_K tanpa cabang dan prefetch L2 untuk CUDA

Proyek llama.cpp merilis versi b10840, yang memperkenalkan optimasi kinerja untuk inferensi CUDA. Pembaruan ini mengimplementasikan komputasi tanpa cabang untuk format kuantisasi Q4_K dan Q5_K untuk mempercepat perkalian matriks-vektor (mmvq).

github llama.cpp · 12 hari lalu · 23 tayangan

llama.cpp b10827 memperbaiki pemilihan paket bobot OpenCL untuk mul_mat q4_K dan q5_K

Proyek llama.cpp telah merilis versi b10827, yang mencakup perbaikan untuk memilih paket bobot dengan benar untuk operasi perkalian matriks q4_K dan q5_K menggunakan OpenCL.