github llama.cpp · 1 jam lalu · inference

llama.cpp b10246 merute tensor lm_head q6_K besar ke GEMV datar

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10246, yang mencakup perbaikan untuk kinerja OpenCL pada konfigurasi model tertentu. Pembaruan ini mengatasi masalah di mana kondisi dimensi asli tidak cukup untuk menangani bobot besar.

Merutekan tensor lm_head q6_K besar ke GEMV datar alih-alih gemv_noshuffle.
Menambahkan kondisi ukuran langsung untuk mencegah perlambatan pada model seperti gemma-4 E2B, yang memiliki dimensi [1536, 262144].
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Perubahan ini memastikan bahwa matriks bobot besar diproses secara efisien pada perangkat OpenCL tanpa memicu hambatan kinerja.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10236 mengimplementasikan Metal DSv4 Lightning Indexer

Rilis llama.cpp b10236 memperkenalkan implementasi Metal dari DSv4 Lightning Indexer, secara khusus mendukung input berdimensi 128 dengan kueri dan bobot F32 serta kunci dan mask F16.

github llama.cpp · 3 hari lalu · 8 tayangan

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

Rilis llama.cpp b10208 memperkenalkan dukungan SYCL untuk oneMKL GEMM flash attention, memungkinkan akselerasi perangkat keras XMX untuk pemrosesan prompt. Perubahan ini secara signifikan meningkatkan kecepatan inferensi pada GPU Intel Arc dengan memanfaatkan kernel MKL alih-alih jalur TILE default.

github llama.cpp · 5 hari lalu · 2 tayangan

llama.cpp b10181 menonaktifkan MMQ pada perangkat dengan memori bersama kurang dari 48 KiB

Proyek llama.cpp merilis build b10181, yang mencakup perbaikan di ggml-cuda untuk menonaktifkan Kuantisasi Perkalian Matriks (MMQ) pada GPU dengan memori bersama per blok kurang dari 48 KiB. Sebelumnya, konfigurasi MMQ mengasumsikan batas minimum 48 KiB, menyebabkan kesalahan fatal pada perangkat seperti GPU NVIDIA Pascal dan Moore Threads MTT S70 di mana ukuran ubin melebihi memori yang tersedia.

media Hugging Face Forums · 5 hari lalu

Hugging Face memperbaiki DynamicCache untuk mencegah output salah di generate()

Sebuah bug dalam fungsi `generate()` Hugging Face menyebabkan output yang salah ketika `past_key_values` adalah `DynamicCache` yang dibangun secara eksternal. Masalah ini memengaruhi metode kompresi cache KV seperti SnapKV, H2O, dan KIVI yang merekonstruksi cache dari data prefill. Penyebab utamanya adalah kegagalan dalam meneruskan konteks posisi, yang menyebabkan penurunan akurasi sebesar 10,7pp pada Qwen3-VL-8B.

github llama.cpp · 6 hari lalu · 19 tayangan

llama.cpp b10165 menambahkan dukungan iq4_nl dan q1_0 ke Vulkan FA

Proyek llama.cpp telah merilis build b10165, yang memulihkan dukungan kuantisasi iq4_nl untuk backend Flash Attention (FA) Vulkan. Perubahan ini mengatasi masalah #23681 dengan mengaktifkan kembali fitur tersebut setelah kekhawatiran mengenai penggunaan memori bersama dianggap sepele.