github llama.cpp · baru saja · inference

llama.cpp b11460 menambahkan IQ3_S multi-column MMVQ ke SYCL

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11460, yang memperkenalkan dukungan untuk format kuantisasi IQ3_S multi-column MMVQ di backend SYCL-nya. Pembaruan ini disertakan dalam build baru bersama dengan opsi akselerasi CPU dan GPU standar.

Rilis menambahkan dukungan IQ3_S multi-column MMVQ ke implementasi SYCL melalui pull request #29500.
Binari disediakan untuk macOS (Apple Silicon dan Intel), Linux (x64, arm64, s390x), Windows, Android, dan openEuler.
Akselerasi GPU tersedia melalui CUDA 12/13, Vulkan, ROCm 10.0, OpenVINO, dan OpenCL Adreno di platform yang didukung.
Build spesifik disertakan untuk perangkat Snapdragon di Linux dan Android, mendukung CPU, GPU Adreno, dan NPU Hexagon.

Rilis ini memungkinkan pengguna mengakses optimasi SYCL terbaru dan memperluas kompatibilitas perangkat keras untuk menjalankan model llama.cpp pada berbagai arsitektur.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11454 menambahkan dukungan untuk K2 Horizon dense dan MoVA

Proyek llama.cpp merilis build b11454, yang memperkenalkan dukungan untuk arsitektur model K2 Horizon, termasuk varian dense dan Mixture-of-Value Attention (MoVA).

github llama.cpp · 1 hari lalu · 25 tayangan

llama.cpp b11433 menambahkan dukungan operasi pool Hexagon

Proyek llama.cpp merilis versi b11433, yang memperkenalkan dukungan untuk operasi pooling pada NPU Hexagon. Pembaruan ini mencakup implementasi untuk lapisan pooling 2D dan 1D.

github llama.cpp · 2 hari lalu · 25 tayangan

llama.cpp b11424 memperbaiki penulisan di luar batas memori bersama Vulkan Flash Attention

Proyek llama.cpp telah merilis versi b11424, yang mencakup perbaikan untuk kesalahan penulisan di luar batas memori bersama pada backend Vulkan saat menggunakan Flash Attention.

github llama.cpp · 2 hari lalu · 22 tayangan

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

Rilis b11413 dari llama.cpp memperkenalkan implementasi baru perhatian flash sparse Vulkan yang mendukung tensor Key dan Value terkuantisasi. Pembaruan ini mengatasi masalah kinerja dalam metode kompresi sebelumnya, yang terlalu mahal untuk tugas dekoding dengan jendela konteks besar.

github llama.cpp · 2 hari lalu · 29 tayangan

llama.cpp b11405 menyusun pengindeks kilat berdasarkan kunci dan token untuk 4 kepala

Rilis llama.cpp b11405 memperbarui backend CUDA dengan menyusun pengindeks kilat berdasarkan kunci dan token untuk 4 kepala, mengatasi masalah kinerja dengan jumlah kepala yang kecil.