github llama.cpp · 1 jam lalu · inference

llama.cpp b10781 memperbaiki keterlibatan jalur dekuantisasi Vulkan FA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10781, yang mencakup perbaikan untuk jalur dekuantisasi perhatian cepat (FA) Vulkan. Pembaruan ini mengatasi masalah di mana shader memeriksa `nb[3]` secara salah bahkan ketika `ne[3] == 1`, menyebabkan jalur tersebut hanya aktif ketika cache penuh.

Melewati pemeriksaan `nb[3]` ketika `ne[3] == 1` karena shader tidak pernah membacanya untuk satu aliran.
Menyelesaikan kesalahan logika di mana tampilan cache membawa stride buffer penuh, mengurangi pemeriksaan lama menjadi `n_kv == kv_size`.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), dan openEuler.

Perbaikan ini memastikan jalur dekuantisasi Vulkan FA aktif dengan benar selama inferensi daripada dibatasi hanya pada keadaan cache penuh.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10780 meningkatkan API SYCL untuk mendukung salin peer-to-peer

Proyek llama.cpp telah merilis versi b10780, yang mencakup peningkatan spesifik pada backend SYCL. Pembaruan ini memodifikasi API untuk mengaktifkan kemampuan salin peer-to-peer untuk perangkat SYCL.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp menambahkan dukungan untuk NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp memperkenalkan dukungan untuk model NVIDIA Nemotron-3-Puzzle-75B-A9B, mengaktifkan inferensi untuk arsitektur Mixture of Experts ini. Pembaruan ini mengimplementasikan infrastruktur untuk ukuran feed-forward ahli per-layer yang bervariasi dan routing top-k, yang diperlukan karena model memiliki 40 lapisan MoE dengan nilai n_ff_exp dan top-k yang berbeda.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10777 mengurangi pekerjaan redundan di Q4_K multi-column MMVQ

Proyek llama.cpp merilis build b10777, yang mencakup optimasi untuk backend SYCL pada perkalian matriks-vektor (MMVQ) multi-kolom dengan Q4_K. Pembaruan ini berfokus pada pengurangan pekerjaan komputasi redundan melalui strategi pembongkaran bobot dan penggunaan kembali aktivasi.

github llama.cpp · 8 jam lalu · 1 tayangan

ggml-org merilis llama.cpp b10774 dengan perbaikan cache KV untuk fine-tuning

Proyek ggml-org telah merilis versi b10774 dari llama.cpp, yang mencakup perbaikan untuk masalah tidak adanya cache KV di modul fine-tuning.

github llama.cpp · 9 jam lalu · 1 tayangan

llama.cpp b10772 menambahkan dukungan F16 ABS ke backend Hexagon HTP

Rilis llama.cpp b10772 memperluas cakupan operasi unari F16 pada backend Hexagon Tensor Processor (HTP) dengan menambahkan dukungan untuk fungsi nilai mutlak (ABS).