github llama.cpp · 1 jam lalu · inference

llama.cpp b10293 menambahkan CI ROCm untuk gfx1151 dan memperbaiki inferensi RDNA3.5

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10293, yang mencakup onboarding integrasi berkelanjutan AMD ROCm untuk arsitektur gfx1151 dan menyelesaikan masalah kebenaran pada GPU terintegrasi RDNA3.5.

Memperbaiki test-recurrent-state-rollback pada gfx1151 dengan mengizinkan buffer output host GPU terintegrasi dalam assert debug.
Memulihkan kebenaran inferensi pada RDNA3.5 dengan mengaktifkan memori terpadu untuk mengatasi masalah koherensi GPU dengan bobot yang dimuat melalui mmap.
Menangani kesalahan eksekusi asinkron di jalur HIP dengan menggunakan HIP_LAUNCH_BLOCKING=1 untuk serialisasi peluncuran kernel.
Melewati tes arsitektur jamba dan subtes top-k di backend HIP karena operasi yang tidak didukung dan output yang salah.

Pembaruan ini memungkinkan pengujian dan inferensi model llama.cpp yang andal pada perangkat keras AMD RDNA3.5 melalui ROCm.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

github llama.cpp · 2 hari lalu

llama.cpp b10246 merute tensor lm_head q6_K besar ke GEMV datar

Proyek llama.cpp merilis versi b10246, yang mencakup perbaikan untuk kinerja OpenCL pada konfigurasi model tertentu. Pembaruan ini mengatasi masalah di mana kondisi dimensi asli tidak cukup untuk menangani bobot besar.

github llama.cpp · 3 hari lalu · 6 tayangan

llama.cpp b10236 mengimplementasikan Metal DSv4 Lightning Indexer

Rilis llama.cpp b10236 memperkenalkan implementasi Metal dari DSv4 Lightning Indexer, secara khusus mendukung input berdimensi 128 dengan kueri dan bobot F32 serta kunci dan mask F16.

github llama.cpp · 6 hari lalu · 8 tayangan

llama.cpp b10208 menambahkan oneMKL GEMM flash attention untuk pemrosesan prompt yang dipercepat XMX

Rilis llama.cpp b10208 memperkenalkan dukungan SYCL untuk oneMKL GEMM flash attention, memungkinkan akselerasi perangkat keras XMX untuk pemrosesan prompt. Perubahan ini secara signifikan meningkatkan kecepatan inferensi pada GPU Intel Arc dengan memanfaatkan kernel MKL alih-alih jalur TILE default.

github llama.cpp · 8 hari lalu · 2 tayangan

llama.cpp b10181 menonaktifkan MMQ pada perangkat dengan memori bersama kurang dari 48 KiB

Proyek llama.cpp merilis build b10181, yang mencakup perbaikan di ggml-cuda untuk menonaktifkan Kuantisasi Perkalian Matriks (MMQ) pada GPU dengan memori bersama per blok kurang dari 48 KiB. Sebelumnya, konfigurasi MMQ mengasumsikan batas minimum 48 KiB, menyebabkan kesalahan fatal pada perangkat seperti GPU NVIDIA Pascal dan Moore Threads MTT S70 di mana ukuran ubin melebihi memori yang tersedia.