github llama.cpp · baru saja · inference

llama.cpp b11158 mengaktifkan dukungan matriks kooperatif KHR untuk GPU Adreno

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11158, yang mencakup penyesuaian dukungan matriks kooperatif KHR secara khusus untuk GPU Adreno melalui backend Vulkan.

Mengaktifkan dukungan matriks kooperatif (coopmat) untuk backend Vulkan guna meningkatkan kinerja pada perangkat keras yang kompatibel.
Memperbaiki fungsi mul_mat_s di dalam implementasi.
Menghapus pernyataan debug dari basis kode.

Pembaruan ini menyediakan akselerasi GPU yang dioptimalkan untuk perangkat Snapdragon yang menjalankan Linux dan Android, serta sistem Windows arm64 dengan grafis Adreno.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp v0.5.0 menambahkan dukungan HRM-Text, akselerasi CUDA conv2d, dan pengikatan multi-alamat

Proyek llama.cpp telah merilis versi 0.5.0, dengan fokus pada kinerja backend, cakupan model yang lebih luas, dan operasi server yang lebih andal. Pembaruan ini memperkenalkan dukungan untuk arsitektur baru seperti HRM-Text (DFM Mimir 1B) dan MiMo-V2.6, sambil secara signifikan meningkatkan efisiensi komputasi melalui optimisasi CUDA dan Metal.

github llama.cpp · 17 jam lalu · 11 tayangan

llama.cpp b11147 menambahkan kernel OpenCL dp4a non-MoE Q6_K A8

Proyek llama.cpp telah merilis versi b11147, yang memperkenalkan kernel biner baru untuk OpenCL. Pembaruan ini secara khusus menambahkan dukungan untuk konfigurasi A8 Q6_K non-MoE dp4a.

github llama.cpp · 22 jam lalu · 12 tayangan

llama.cpp b11132 menambahkan dukungan backbone draf Gemma 4 DSpark

Proyek llama.cpp merilis versi b11132, memperkenalkan dukungan untuk backbone draf Gemma 4 DSpark. Pembaruan ini mengaktifkan konversi GGUF dan kemampuan runtime untuk draf Gemma 4 dengan perhatian penuh dan SWA, termasuk bobot output terikat dan metadata backbone boolean.

github llama.cpp · 1 hari lalu · 13 tayangan

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 2 hari lalu · 14 tayangan

llama.cpp b11111 menambahkan kernel optimasi flash attention untuk Intel Xe

Proyek llama.cpp merilis build b11111, yang memperkenalkan kernel optimasi flash attention berbasis Vulkan untuk jalur split k pada arsitektur Xe-LPG Plus, Xe2, dan Xe3.