github llama.cpp · 1 jam lalu · inference

llama.cpp b11333 menambahkan dukungan bfloat16 untuk WebGPU pada operasi MUL_MAT

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b11333, yang memperkenalkan dukungan bfloat16 untuk operasi MUL_MAT, MUL_MAT_ID, dan GET_ROWS di dalam backend WebGPU-nya.

Pembaruan ini disertakan dalam binaris pra-kompilasi untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows, Android, dan openEuler. Rilis ini menyediakan build untuk berbagai akselerator perangkat keras, termasuk CUDA 12 dan 13, Vulkan, ROCm 10.0, OpenVINO, SYCL, dan Snapdragon NPUs.

Penambahan presisi bfloat16 ke operasi matriks WebGPU spesifik ini memungkinkan komputasi yang lebih efisien pada GPU yang kompatibel.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11335 merute sm70 ke tabel Turing MMVQ untuk performa Volta

Proyek llama.cpp merilis versi b11335, yang mencakup optimasi CUDA untuk GPU Volta. Pembaruan ini mengarahkan arsitektur sm_70 ke tabel nwarps Turing MMVQ yang ada alih-alih jatuh ke konfigurasi generik.

github llama.cpp · 23 jam lalu · 5 tayangan

llama.cpp b11309 mengoptimalkan ALLREDUCE Hexagon dengan mode scatter aman

Proyek llama.cpp merilis versi b11309, yang mencakup optimasi kunci untuk backend Hexagon. Pembaruan ini menambahkan dukungan untuk mode scatter aman ke operasi ALLREDUCE, bertujuan untuk meningkatkan kinerja dan stabilitas pada perangkat Qualcomm Snapdragon.

github llama.cpp · 2 hari lalu · 9 tayangan

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

Proyek llama.cpp telah menambahkan dukungan awal untuk arsitektur model GLM-5.3-Flash (GLM5-Next), termasuk migrasi ke memori indeks hibrida dan kemampuan Multi-Token Prediction (MTP) awal.

github llama.cpp · 2 hari lalu · 5 tayangan

llama.cpp b11266 memuat matriks A F32 dua kali untuk Vulkan pada Intel

Proyek llama.cpp merilis build b11266, yang mencakup optimasi Vulkan yang memuat matriks A F32 dua elemen sekaligus ketika mereka sejajar 2. Perubahan ini mengatasi masalah kinerja pada perangkat keras Intel di mana memuat float satu per satu tidak efisien, dan juga memperbaiki validasi yang hilang untuk penjajaran `a_offset` dalam patch asli.

github llama.cpp · 2 hari lalu · 2 tayangan

llama.cpp b11265 memperbaiki pemilihan tile matmul MOE di Vulkan

Rilis llama.cpp b11265 mencakup perbaikan untuk penanganan model Mixture of Experts (MoE) oleh backend Vulkan. Pembaruan ini memperbaiki bagaimana `mat_mul_id` memilih tile perkalian matriks, mengatasi masalah kinerja di mana pekerja menganggur selama penjadwalan.