github llama.cpp · 1 jam lalu · inference

llama.cpp b11424 memperbaiki penulisan di luar batas memori bersama Vulkan Flash Attention

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11424, yang mencakup perbaikan untuk kesalahan penulisan di luar batas memori bersama pada backend Vulkan saat menggunakan Flash Attention.

Pembaruan ini menyediakan biner pra-kompilasi untuk macOS (Apple Silicon dan Intel), Linux (CPU, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android, dan iOS. Rilis ini juga mencakup antarmuka pengguna llama.cpp.

Pembuatan untuk KleidiAI pada macOS Apple Silicon saat ini dinonaktifkan dalam versi ini.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

Rilis b11413 dari llama.cpp memperkenalkan implementasi baru perhatian flash sparse Vulkan yang mendukung tensor Key dan Value terkuantisasi. Pembaruan ini mengatasi masalah kinerja dalam metode kompresi sebelumnya, yang terlalu mahal untuk tugas dekoding dengan jendela konteks besar.

github llama.cpp · 8 jam lalu · 20 tayangan

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

llama.cpp b11405 menyusun pengindeks kilat berdasarkan kunci dan token untuk 4 kepala

llama.cpp b11403 menggunakan MMVF untuk mul_mat f16/bf16 tipis pada batch kecil

llama.cpp b11390 memperbaiki kesalahan memori CUDA MMQ

llama.cpp b11375 memperbaiki penghentian realokasi graf di bawah GGML_SCHED_NO_REALLOC