github llama.cpp · 1 hari lalu · inference

llama.cpp b10353 memperbaiki hasil salah diam-diam di kernel ROLL CUDA dan Metal

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10353, yang menangani bug kritis dalam operasi ggml_roll pada backend CUDA dan Metal. Sebelumnya, tensor sumber yang dipermutasi (tidak kontinu) menghasilkan hasil yang salah secara diam-diam karena backend ini mengabaikan informasi stride.

Perbaikan menambahkan persyaratan sumber kontinu ke kedua kernel roll CUDA dan Metal, sesuai dengan perlindungan GGML_OP_ROPE yang ada.
Perubahan ini memastikan scheduler kembali ke implementasi CPU untuk input tidak kontinu, yang menangani strides dengan benar.
Kasus test_roll yang dipermutasi ditambahkan untuk memverifikasi perbaikan.

Pembaruan ini mencegah korupsi data pada model yang bergantung pada operasi ROLL dengan layout memori non-standar.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10322 memperbaiki NORM/RMS_NORM untuk panjang baris simdgroup parsial

Proyek llama.cpp merilis versi b10322, yang mencakup perbaikan kritis untuk operasi GGML_OP_NORM dan GGML_OP_RMS_NORM pada Metal. Pembaruan ini menyelesaikan masalah di mana threadgroups dengan ukuran yang menyisakan kelompok SIMD parsial menyebabkan perhitungan mean dan varians yang salah akibat hilangnya jumlah parsial.

github llama.cpp · 6 hari lalu · 5 tayangan

llama.cpp b10293 menambahkan CI ROCm untuk gfx1151 dan memperbaiki inferensi RDNA3.5

Proyek llama.cpp merilis build b10293, yang mencakup onboarding integrasi berkelanjutan AMD ROCm untuk arsitektur gfx1151 dan menyelesaikan masalah kebenaran pada GPU terintegrasi RDNA3.5.

github llama.cpp · 8 hari lalu · 2 tayangan

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

github llama.cpp · 8 hari lalu · 1 tayangan

llama.cpp b10246 merute tensor lm_head q6_K besar ke GEMV datar

Proyek llama.cpp merilis versi b10246, yang mencakup perbaikan untuk kinerja OpenCL pada konfigurasi model tertentu. Pembaruan ini mengatasi masalah di mana kondisi dimensi asli tidak cukup untuk menangani bobot besar.

github llama.cpp · 9 hari lalu · 6 tayangan

llama.cpp b10236 mengimplementasikan Metal DSv4 Lightning Indexer

Rilis llama.cpp b10236 memperkenalkan implementasi Metal dari DSv4 Lightning Indexer, secara khusus mendukung input berdimensi 128 dengan kueri dan bobot F32 serta kunci dan mask F16.