github llama.cpp · baru saja · inference

llama.cpp b11046 menambahkan dukungan OpenCL untuk kernel flash_attn_f32_f16_bin

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11046, yang memperkenalkan dukungan OpenCL untuk kernel `flash_attn_f32_f16_bin`. Pembaruan ini juga mencakup fungsionalitas prefill terlindungi untuk Flash Attention pada perangkat OpenCL.

Menambahkan implementasi kernel `flash_attn_f32_f16_bin` untuk OpenCL.
Mengimplementasikan logika prefill terlindungi untuk Flash Attention di backend OpenCL.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, CUDA, ROCm, Vulkan, SYCL, OpenVINO), Windows (CPU, CUDA, Vulkan, SYCL, ROCm, OpenVINO), Android, dan iOS.

Rilis ini memperluas kompatibilitas perangkat keras untuk mekanisme perhatian pada perangkat yang mampu OpenCL sambil mempertahankan dukungan luas di seluruh sistem operasi utama dan akselerator.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Baca aslinya

llama.cpp b11019 memperbaiki penjajaran data GGUF untuk file tertanam dan menambahkan pemuatan LoRA

Proyek llama.cpp merilis versi b11019, yang mengatasi bug kritis di mana file GGUF yang tertanam pada offset yang tidak sejajar mengembalikan data tensor yang salah. Pembaruan ini menyelaraskan bagian data GGUF relatif terhadap awal file, bukan offset 0, memastikan pemuatan model tertanam berjalan benar.

github llama.cpp · 2 hari lalu · 7 tayangan

llama.cpp b11006 menambahkan dukungan Hexagon untuk K-Quants Q4_K dan Q6_K

Proyek llama.cpp merilis versi b11006, memperkenalkan dukungan untuk prosesor Qualcomm Hexagon guna menangani format K-Quantization. Pembaruan ini mengimplementasikan kernel spesifik untuk tingkat kuantisasi Q4_K dan Q6_K pada arsitektur Hexagon.

github llama.cpp · 4 hari lalu · 10 tayangan

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.

github llama.cpp · 11 hari lalu · 24 tayangan

llama.cpp b10840 menambahkan unpack Q4_K/Q5_K tanpa cabang dan prefetch L2 untuk CUDA

Proyek llama.cpp merilis versi b10840, yang memperkenalkan optimasi kinerja untuk inferensi CUDA. Pembaruan ini mengimplementasikan komputasi tanpa cabang untuk format kuantisasi Q4_K dan Q5_K untuk mempercepat perkalian matriks-vektor (mmvq).

github llama.cpp · 12 hari lalu · 23 tayangan

llama.cpp b10827 memperbaiki pemilihan paket bobot OpenCL untuk mul_mat q4_K dan q5_K

Proyek llama.cpp telah merilis versi b10827, yang mencakup perbaikan untuk memilih paket bobot dengan benar untuk operasi perkalian matriks q4_K dan q5_K menggunakan OpenCL.