github llama.cpp · 2 jam lalu · inference

llama.cpp b10305 menambahkan dukungan SYCL untuk OPs DSv4

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10305, yang memperkenalkan dukungan untuk operasi spesifik DSv4 di dalam backend SYCL. Pembaruan ini mencakup implementasi operator LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST, dan DSV4_HC_PRE.

Dukungan ditambahkan untuk OPs DSv4: LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST, dan DSV4_HC_PRE di backend SYCL.
Pembaruan pada file dokumentasi ops.md.
Perbaikan diterapkan pada masalah pemformatan di dalam basis kode.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu dengan CPU, Vulkan, ROCm 7.2, OpenVINO, dan SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan platform openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10307 memperbaiki parsing NVFP4 SYCL

Proyek llama.cpp merilis versi b10307, yang mencakup perbaikan untuk kode GPU SYCL agar dapat memarsing faktor skala UE4M3 yang digunakan dalam kuantisasi NVFP4 dengan benar.

github llama.cpp · 2 jam lalu

llama.cpp b10306 menambahkan jalur datar GLU SYCL dan mengonsolidasikan kernel

Rilis llama.cpp b10306 memperkenalkan optimasi kinerja untuk backend SYCL, khususnya menargetkan operasi Gated Linear Unit (GLU). Pembaruan ini menambahkan jalur cepat kontigu untuk operasi GLU terpadu dan mengonsolidasikan kernel yang sebelumnya berbeda agar berbagi peluncur bersama.

github llama.cpp · 16 jam lalu

llama.cpp b10298 menambahkan fungsi simpan/muat chunk untuk modul mtmd

Proyek llama.cpp telah merilis build b10298, yang memperkenalkan fungsi simpan dan muat chunk baru untuk modul mtmd. Pembaruan ini juga mencakup pembersihan kode dan pengujian tambahan.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b10293 menambahkan CI ROCm untuk gfx1151 dan memperbaiki inferensi RDNA3.5

Proyek llama.cpp merilis build b10293, yang mencakup onboarding integrasi berkelanjutan AMD ROCm untuk arsitektur gfx1151 dan menyelesaikan masalah kebenaran pada GPU terintegrasi RDNA3.5.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10291 memperbaiki batching pengiriman Vulkan dan menambahkan alat debug DeviceLost

Proyek llama.cpp telah merilis versi b10291, yang mencakup perbaikan kritis untuk backend Vulkan bersama dengan pembaruan platform standar. Perubahan teknis utama mengatasi masalah ukuran batching pengiriman dan memperkenalkan kemampuan diagnostik baru untuk kesalahan driver.