github llama.cpp · baru saja · inference

llama.cpp memperbaiki kegagalan operator MTT S5000 dan mengaktifkan jalur CUB

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis perbaikan untuk kegagalan operator dan masalah build pada MUSA (MTT S5000), yang secara khusus menargetkan arsitektur PH1. Pembaruan ini menyelesaikan bug kritis yang menyebabkan hasil salah atau timeout pada perangkat keras ini.

Memperbaiki kinerja FlashAttention dengan memperbaiki turunan lebar salinan 16 byte untuk target sm_70+.
Mengaktifkan jalur CUB di MUSA, menghapus batas pada operasi ARGSORT dan TOP_K.
Menyelesaikan cacat MMQ yang menyebabkan kegagalan matmul kuantisasi dengan beralih ke jalur cuBLAS/dequant.
Memperbaiki hang kernel fused TOPK_MOE dengan memastikan barrier blok dapat dijangkau untuk semua warp.
Mengaktifkan dukungan operator GATED_DELTA_NET, secara signifikan meningkatkan throughput prefill dan decode.

Perubahan ini memulihkan fungsionalitas penuh dan meningkatkan kinerja bagi pengguna MTT S5000 yang menjalankan model seperti Qwen3.8-27B.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Baca aslinya

llama.cpp b11160 menambahkan matmul coopmat1 int8 untuk AMD RDNA3/4 dan dukungan IQ4_XS

Proyek llama.cpp merilis versi b11160, memperkenalkan implementasi matriks kooperatif int8 (coopmat1) untuk Vulkan pada arsitektur AMD RDNA3 dan RDNA4. Pembaruan ini mencakup shader khusus yang probing nilai coopmat secara langsung untuk meningkatkan kinerja.

media Hugging Face Forums · 30 hari lalu · 39 tayangan

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

github llama.cpp · 52 hari lalu · 35 tayangan

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

media r/LocalLLaMA · 82 hari lalu · 29 tayangan

llama.cpp menggunakan hipBLAS untuk prefill padat pada GPU gfx900

Sebuah pull request ke repositori llama.cpp memperkenalkan perubahan yang memanfaatkan hipBLAS untuk operasi prefill padat pada GPU arsitektur AMD gfx900. Modifikasi ini secara khusus ditargetkan pada perangkat keras GPU Vega lama, termasuk model seperti Radeon RX Vega 56/64 dan seri Radeon Pro Vega.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b11158 mengaktifkan dukungan matriks kooperatif KHR untuk GPU Adreno

Proyek llama.cpp merilis build b11158, yang mencakup penyesuaian dukungan matriks kooperatif KHR secara khusus untuk GPU Adreno melalui backend Vulkan.