github llama.cpp · baru saja · inference

llama.cpp b11335 merute sm70 ke tabel Turing MMVQ untuk performa Volta

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11335, yang mencakup optimasi CUDA untuk GPU Volta. Pembaruan ini mengarahkan arsitektur sm_70 ke tabel nwarps Turing MMVQ yang ada alih-alih jatuh ke konfigurasi generik.

Volta (sm_70) sekarang menggunakan penyetelan TURING untuk decoding batch-1 K-quant, mengubah jumlah warp dari 4 menjadi 2.
Benchmark pada Tesla V100 dengan Qwen3.8-27B menunjukkan peningkatan throughput sebesar +3.17% (+1.091 t/s) dengan perplexitas yang identik secara bit.
Perubahan ini berasal dari fork anyei/llamacpp-v100 dan berlaku untuk pemilih tabel perangkat dan host.

Penyesuaian ini meningkatkan kecepatan inferensi pada perangkat keras Volta tanpa memengaruhi akurasi model.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Baca aslinya

llama.cpp memperbaiki kegagalan operator MTT S5000 dan mengaktifkan jalur CUB

Proyek llama.cpp telah merilis perbaikan untuk kegagalan operator dan masalah build pada MUSA (MTT S5000), yang secara khusus menargetkan arsitektur PH1. Pembaruan ini menyelesaikan bug kritis yang menyebabkan hasil salah atau timeout pada perangkat keras ini.

github llama.cpp · 7 hari lalu · 33 tayangan

llama.cpp b11160 menambahkan matmul coopmat1 int8 untuk AMD RDNA3/4 dan dukungan IQ4_XS

Proyek llama.cpp merilis versi b11160, memperkenalkan implementasi matriks kooperatif int8 (coopmat1) untuk Vulkan pada arsitektur AMD RDNA3 dan RDNA4. Pembaruan ini mencakup shader khusus yang probing nilai coopmat secara langsung untuk meningkatkan kinerja.

media Hugging Face Forums · 37 hari lalu · 40 tayangan

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

github llama.cpp · 59 hari lalu · 38 tayangan

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

media r/LocalLLaMA · 88 hari lalu · 33 tayangan

llama.cpp menggunakan hipBLAS untuk prefill padat pada GPU gfx900

Sebuah pull request ke repositori llama.cpp memperkenalkan perubahan yang memanfaatkan hipBLAS untuk operasi prefill padat pada GPU arsitektur AMD gfx900. Modifikasi ini secara khusus ditargetkan pada perangkat keras GPU Vega lama, termasuk model seperti Radeon RX Vega 56/64 dan seri Radeon Pro Vega.