github llama.cpp · 3 hari lalu · inference

llama.cpp b11216 menambahkan kernel FWHT SYCL untuk lebar blok di atas 512

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11216 memperkenalkan kernel Transformasi Walsh-Hadamard Cepat (FWHT) di backend SYCL yang mendukung lebar blok lebih besar dari 512. Sebelumnya, lebar yang lebih besar jatuh kembali ke GEMM padat dengan kompleksitas O(n^2); perubahan ini memungkinkan kinerja O(n log n) untuk ukuran tersebut.

Implementasi `fwht_kernel_wide` baru menjalankan satu baris per work-group dan menggunakan memori lokal serta register untuk mengoptimalkan operasi kupu-kupu.
Mendukung lebar blok 1024, 2048, 4096, dan 8192 melalui konstruksi Kronecker/Paley.
Rilis ini mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler di seluruh backend CPU, GPU, dan NPU.
Verifikasi dilakukan menggunakan harness mandiri pada perangkat CPU SYCL Intel oneAPI DPC++ 2026.1, mengonfirmasi kebenaran terhadap implementasi referensi.

Pembaruan ini meningkatkan efisiensi komputasi untuk ukuran blok besar di lingkungan SYCL sambil mempertahankan kompatibilitas dengan konfigurasi perangkat keras yang ada.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

github llama.cpp · 20 jam lalu · 2 tayangan

llama.cpp b11266 memuat matriks A F32 dua kali untuk Vulkan pada Intel

Proyek llama.cpp merilis build b11266, yang mencakup optimasi Vulkan yang memuat matriks A F32 dua elemen sekaligus ketika mereka sejajar 2. Perubahan ini mengatasi masalah kinerja pada perangkat keras Intel di mana memuat float satu per satu tidak efisien, dan juga memperbaiki validasi yang hilang untuk penjajaran `a_offset` dalam patch asli.

github llama.cpp · 22 jam lalu · 1 tayangan

llama.cpp b11265 memperbaiki pemilihan tile matmul MOE di Vulkan

Rilis llama.cpp b11265 mencakup perbaikan untuk penanganan model Mixture of Experts (MoE) oleh backend Vulkan. Pembaruan ini memperbaiki bagaimana `mat_mul_id` memilih tile perkalian matriks, mengatasi masalah kinerja di mana pekerja menganggur selama penjadwalan.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b11238 menambahkan ggml_pad_ext untuk padding kiri dan melewatkan tap DFlash2

Proyek llama.cpp merilis build b11238, memperkenalkan implementasi padding kiri yang terpadu melalui fungsi `ggml_pad_ext` baru. Perubahan ini menyatukan metode sebelumnya yang digunakan oleh encoder audio seperti Parakeet, LFM2-Audio, Granite Speech, dan Gemma 4, memastikan embedding yang identik secara bit untuk Gemma 4 sambil menyederhanakan dukungan backend.

github llama.cpp · 2 hari lalu · 5 tayangan

llama.cpp b11232 mengaktifkan flash attention bertegel di x86

Proyek llama.cpp merilis build b11232, yang mencakup pembaruan untuk backend ggml-cpu. Rilis ini berfokus pada pengaktifan flash attention bertegel untuk dimensi kepala bukan kelipatan vektor pada arsitektur x86.