github llama.cpp · baru saja · inference

llama.cpp b10236 mengimplementasikan Metal DSv4 Lightning Indexer

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10236 memperkenalkan implementasi Metal dari DSv4 Lightning Indexer, secara khusus mendukung input berdimensi 128 dengan kueri dan bobot F32 serta kunci dan mask F16.

Pembaruan ini mencakup kernel bertile dan ekor untuk menangani panjang KV di dekat batas elemen 8 dan 64.
Tile K ditahankan dan didekuantisasi dalam memori grup thread F16 sebelum pemuatan matriks simdgroup, mendukung format F32, F16, BF16, dan berbagai format kuantisasi.

Benchmark menunjukkan peningkatan throughput prefill (pp512) pada panjang urutan 10k, 20k, dan 30k token dibandingkan versi sebelumnya.

Optimasi ini meningkatkan kinerja inferensi pada perangkat Apple Silicon dengan memperbaiki pola akses memori untuk Lightning Indexer.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

Rilis llama.cpp b10208 memperkenalkan dukungan SYCL untuk oneMKL GEMM flash attention, memungkinkan akselerasi perangkat keras XMX untuk pemrosesan prompt. Perubahan ini secara signifikan meningkatkan kecepatan inferensi pada GPU Intel Arc dengan memanfaatkan kernel MKL alih-alih jalur TILE default.

github llama.cpp · 5 hari lalu · 1 tayangan

llama.cpp b10181 menonaktifkan MMQ pada perangkat dengan memori bersama kurang dari 48 KiB

Proyek llama.cpp merilis build b10181, yang mencakup perbaikan di ggml-cuda untuk menonaktifkan Kuantisasi Perkalian Matriks (MMQ) pada GPU dengan memori bersama per blok kurang dari 48 KiB. Sebelumnya, konfigurasi MMQ mengasumsikan batas minimum 48 KiB, menyebabkan kesalahan fatal pada perangkat seperti GPU NVIDIA Pascal dan Moore Threads MTT S70 di mana ukuran ubin melebihi memori yang tersedia.

media Hugging Face Forums · 5 hari lalu

Hugging Face memperbaiki DynamicCache untuk mencegah output salah di generate()

Sebuah bug dalam fungsi `generate()` Hugging Face menyebabkan output yang salah ketika `past_key_values` adalah `DynamicCache` yang dibangun secara eksternal. Masalah ini memengaruhi metode kompresi cache KV seperti SnapKV, H2O, dan KIVI yang merekonstruksi cache dari data prefill. Penyebab utamanya adalah kegagalan dalam meneruskan konteks posisi, yang menyebabkan penurunan akurasi sebesar 10,7pp pada Qwen3-VL-8B.

github llama.cpp · 6 hari lalu · 19 tayangan

llama.cpp b10165 menambahkan dukungan iq4_nl dan q1_0 ke Vulkan FA

Proyek llama.cpp telah merilis build b10165, yang memulihkan dukungan kuantisasi iq4_nl untuk backend Flash Attention (FA) Vulkan. Perubahan ini mengatasi masalah #23681 dengan mengaktifkan kembali fitur tersebut setelah kekhawatiran mengenai penggunaan memori bersama dianggap sepele.

github llama.cpp · 6 hari lalu

llama.cpp b10164 menambahkan matmul SSD terfragmentasi untuk akselerasi prefill Mamba-2

Proyek llama.cpp merilis versi b10164, memperkenalkan implementasi perkalian matriks SSD terfragmentasi baru yang dirancang untuk mempercepat fase prefill model Mamba-2.