github llama.cpp · baru saja · inference

llama.cpp b11160 menambahkan matmul coopmat1 int8 untuk AMD RDNA3/4 dan dukungan IQ4_XS

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11160, memperkenalkan implementasi matriks kooperatif int8 (coopmat1) untuk Vulkan pada arsitektur AMD RDNA3 dan RDNA4. Pembaruan ini mencakup shader khusus yang probing nilai coopmat secara langsung untuk meningkatkan kinerja.

Menambahkan dukungan kuantisasi IQ4_XS ke shader matmul integer mul_mmq_cm1.
Mengimplementasikan penerapan skala inline, jumlah skalar, dan double buffering untuk backend Vulkan.
Mendukung kuantisasi q8_0, q4_1, q5_0, q5_1, iq4_nl, mxfp4, q3_k, q4_k, q5_k, q6_k, dan nvfp4.
Termasuk biner untuk macOS, Linux, Windows, Android, dan openEuler di seluruh backend CPU, CUDA, ROCm, OpenVINO, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Baca aslinya

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

github llama.cpp · 51 hari lalu · 35 tayangan

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

media r/LocalLLaMA · 81 hari lalu · 29 tayangan

llama.cpp menggunakan hipBLAS untuk prefill padat pada GPU gfx900

Sebuah pull request ke repositori llama.cpp memperkenalkan perubahan yang memanfaatkan hipBLAS untuk operasi prefill padat pada GPU arsitektur AMD gfx900. Modifikasi ini secara khusus ditargetkan pada perangkat keras GPU Vega lama, termasuk model seperti Radeon RX Vega 56/64 dan seri Radeon Pro Vega.

github llama.cpp · 4 jam lalu · 2 tayangan

llama.cpp b11158 mengaktifkan dukungan matriks kooperatif KHR untuk GPU Adreno

Proyek llama.cpp merilis build b11158, yang mencakup penyesuaian dukungan matriks kooperatif KHR secara khusus untuk GPU Adreno melalui backend Vulkan.

github llama.cpp · 18 jam lalu · 3 tayangan

llama.cpp v0.5.0 menambahkan dukungan HRM-Text, akselerasi CUDA conv2d, dan pengikatan multi-alamat

Proyek llama.cpp telah merilis versi 0.5.0, dengan fokus pada kinerja backend, cakupan model yang lebih luas, dan operasi server yang lebih andal. Pembaruan ini memperkenalkan dukungan untuk arsitektur baru seperti HRM-Text (DFM Mimir 1B) dan MiMo-V2.6, sambil secara signifikan meningkatkan efisiensi komputasi melalui optimisasi CUDA dan Metal.