github llama.cpp · 1 jam lalu · inference

llama.cpp b10615 menambahkan vec flash-attn yang disesuaikan per-perangkat untuk Metal

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10615, memperkenalkan operasi vektor flash-attention terkuantisasi (Q, NE) yang disesuaikan per-perangkat untuk backend Metal.

Menambahkan 53 instansiasi vektor flash-attn f16, meningkatkan total dari 80 menjadi 133.
Mengimplementasikan tabel penalaan dan kabel dispatch dengan fallback kapasitas memori bersama.
Memperluas penalaan vektor untuk mendukung cache KV terkuantisasi.
Termasuk parameter yang disesuaikan untuk perangkat M1 Pro, M2 Ultra, dan M5 Max.

Pembaruan ini mengoptimalkan kinerja pada perangkat keras Apple Silicon dengan menerapkan hasil penalaan spesifik ke backend Metal.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10614 menambahkan pemisahan sumber per-op Metal dan kompilasi paralel

Rilis llama.cpp b10614 memperkenalkan perubahan arsitektur signifikan pada backend Metal dengan memisahkan sumber operasi dan mengaktifkan kompilasi paralel. Pembaruan ini juga mencakup beberapa implementasi kernel baru dan dukungan untuk format kuantisasi tambahan.

github llama.cpp · 10 jam lalu · 12 tayangan

llama.cpp b10610 memperpendek penamaan perangkat virtual di CUDA dan Metal

Proyek llama.cpp merilis versi b10610, yang mencakup perubahan untuk memperpendek penamaan perangkat virtual di dalam backend ggml untuk platform CUDA maupun Metal.

github llama.cpp · 15 jam lalu · 17 tayangan

llama.cpp b10605 meratakan proyeksi mamba2 untuk mengirim GEMM

Proyek llama.cpp merilis build b10605, yang mencakup optimisasi kunci untuk arsitektur Mamba2. Pembaruan ini meratakan proyeksi input dan output model Mamba2 untuk mengirim operasi Perkalian Matriks Umum (GEMM) alih-alih operasi Perkalian Matriks Umum oleh Vektor (GEMV).

github llama.cpp · 1 hari lalu · 13 tayangan

llama.cpp b10603 menambahkan dukungan MTP untuk GLM-4.5-Air

Proyek llama.cpp telah merilis build b10603, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.5-Air.

github llama.cpp · 3 hari lalu · 5 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.