github llama.cpp · baru saja · inference

llama.cpp b11433 menambahkan dukungan operasi pool Hexagon

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11433, yang memperkenalkan dukungan untuk operasi pooling pada NPU Hexagon. Pembaruan ini mencakup implementasi untuk lapisan pooling 2D dan 1D.

Menambahkan dukungan pool_2d dan pool_1d untuk backend Hexagon.
Mengoptimalkan batas pooling HTP dan pipeline DMA.
Menulis ulang pipeline DMA dan menambahkan dukungan chunking pool.
Menghapus jalur skalar tervektorisasi dan menyederhanakan solver chunk.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di arsitektur CPU, GPU, dan NPU.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11424 memperbaiki penulisan di luar batas memori bersama Vulkan Flash Attention

Proyek llama.cpp telah merilis versi b11424, yang mencakup perbaikan untuk kesalahan penulisan di luar batas memori bersama pada backend Vulkan saat menggunakan Flash Attention.

github llama.cpp · 13 jam lalu · 16 tayangan

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

Rilis b11413 dari llama.cpp memperkenalkan implementasi baru perhatian flash sparse Vulkan yang mendukung tensor Key dan Value terkuantisasi. Pembaruan ini mengatasi masalah kinerja dalam metode kompresi sebelumnya, yang terlalu mahal untuk tugas dekoding dengan jendela konteks besar.

github llama.cpp · 16 jam lalu · 23 tayangan

llama.cpp b11424 memperbaiki penulisan di luar batas memori bersama Vulkan Flash Attention

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

llama.cpp b11405 menyusun pengindeks kilat berdasarkan kunci dan token untuk 4 kepala

llama.cpp b11403 menggunakan MMVF untuk mul_mat f16/bf16 tipis pada batch kecil

llama.cpp b11390 memperbaiki kesalahan memori CUDA MMQ