github llama.cpp · baru saja · inference

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

Jenis KV yang didukung mencakup Q4_0, Q4_1, Q5_0, Q5_1, Q8_0, dan F32, sementara jenis BF16 dan IQ dikecualikan karena kurangnya kernel konversi.
Dukungan non-FP16 dibatasi oleh persyaratan bahwa K >= 1024 dan Q >= 32 selama fase prefill.
Rilis ini mencakup perbaikan sinkronisasi aliran yang memastikan perilaku wait_and_throw tanpa syarat dan menghapus aliasing V_is_K_view untuk memastikan K dan V selalu didekuantisasi ke buffer terpisah.
Biner disediakan untuk macOS, Linux, Windows, Android, dan openEuler di seluruh CPU, GPU (CUDA, Vulkan, ROCm, OpenCL), dan backend khusus seperti SYCL dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Baca aslinya

llama.cpp menggunakan hipBLAS untuk prefill padat pada GPU gfx900

Sebuah pull request ke repositori llama.cpp memperkenalkan perubahan yang memanfaatkan hipBLAS untuk operasi prefill padat pada GPU arsitektur AMD gfx900. Modifikasi ini secara khusus ditargetkan pada perangkat keras GPU Vega lama, termasuk model seperti Radeon RX Vega 56/64 dan seri Radeon Pro Vega.

github llama.cpp · 7 jam lalu

llama.cpp b10246 merute tensor lm_head q6_K besar ke GEMV datar

Proyek llama.cpp merilis versi b10246, yang mencakup perbaikan untuk kinerja OpenCL pada konfigurasi model tertentu. Pembaruan ini mengatasi masalah di mana kondisi dimensi asli tidak cukup untuk menangani bobot besar.

github llama.cpp · 1 hari lalu · 6 tayangan

llama.cpp b10236 mengimplementasikan Metal DSv4 Lightning Indexer

Rilis llama.cpp b10236 memperkenalkan implementasi Metal dari DSv4 Lightning Indexer, secara khusus mendukung input berdimensi 128 dengan kueri dan bobot F32 serta kunci dan mask F16.

github llama.cpp · 4 hari lalu · 8 tayangan

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

Rilis llama.cpp b10208 memperkenalkan dukungan SYCL untuk oneMKL GEMM flash attention, memungkinkan akselerasi perangkat keras XMX untuk pemrosesan prompt. Perubahan ini secara signifikan meningkatkan kecepatan inferensi pada GPU Intel Arc dengan memanfaatkan kernel MKL alih-alih jalur TILE default.

media r/LocalLLaMA · 5 hari lalu

Lucebox dan AMD mengalahkan Nvidia DGX Spark sebesar 3.63x pada DeepSeek V4 Flash

Lucebox telah bermitra dengan AMD untuk mendemonstrasikan setup perangkat keras konsumen heterogen yang mengungguli Nvidia DGX Spark dalam kecepatan inferensi. Sistem ini menggabungkan GPU AMD Radeon AI PRO R9700 dengan prosesor Strix Halo untuk menjalankan model lengkap DeepSeek V4 Flash sebesar 284B.