github llama.cpp · baru saja · inference

llama.cpp b10410 menghapus promosi tipe fp32 terpisah di jalur gemm non-oneDNN

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10410, yang mencakup perubahan kode untuk backend SYCL. Pembaruan ini menghapus promosi tipe fp32 terpisah di jalur GEMM non-oneDNN dan alih-alih menggunakan promosi otomatis fp16.

Rilis menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), dan openEuler.
Dukungan macOS Apple Silicon KleidiAI dinonaktifkan dalam rilis ini.
Dukungan Ubuntu x64 ROCm 7.14 juga dinonaktifkan.
Komponen UI tersedia sebagai unduhan terpisah.

Pembaruan ini menyederhanakan implementasi SYCL GEMM dengan mengandalkan promosi tipe otomatis daripada penanganan eksplisit.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10408 menambahkan kernel ESIMD Q3_K dan memindahkan kontrol ke runtime

Proyek llama.cpp merilis versi b10408, yang memperkenalkan kernel DMMV Q3_K ESIMD untuk GPU Intel. Rilis ini juga mencakup kernel ESIMD Q4_K dan Q6_K baru serta melakukan refaktor basis kode untuk memungkinkan kontrol ESIMD pada waktu eksekusi daripada waktu kompilasi.

github llama.cpp · 3 hari lalu

llama.cpp b10353 memperbaiki hasil salah diam-diam di kernel ROLL CUDA dan Metal

Proyek llama.cpp merilis build b10353, yang menangani bug kritis dalam operasi ggml_roll pada backend CUDA dan Metal. Sebelumnya, tensor sumber yang dipermutasi (tidak kontinu) menghasilkan hasil yang salah secara diam-diam karena backend ini mengabaikan informasi stride.

github llama.cpp · 6 hari lalu · 1 tayangan

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

Proyek llama.cpp merilis versi b10322, yang mencakup perbaikan kritis untuk operasi GGML_OP_NORM dan GGML_OP_RMS_NORM pada Metal. Pembaruan ini menyelesaikan masalah di mana threadgroups dengan ukuran yang menyisakan kelompok SIMD parsial menyebabkan perhitungan mean dan varians yang salah akibat hilangnya jumlah parsial.

github llama.cpp · 7 hari lalu · 6 tayangan

llama.cpp b10293 menambahkan CI ROCm untuk gfx1151 dan memperbaiki inferensi RDNA3.5

Proyek llama.cpp merilis build b10293, yang mencakup onboarding integrasi berkelanjutan AMD ROCm untuk arsitektur gfx1151 dan menyelesaikan masalah kebenaran pada GPU terintegrasi RDNA3.5.

github llama.cpp · 9 hari lalu · 3 tayangan

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.