github llama.cpp · 1 jam lalu · inference

llama.cpp b10614 menambahkan pemisahan sumber per-op Metal dan kompilasi paralel

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10614 memperkenalkan perubahan arsitektur signifikan pada backend Metal dengan memisahkan sumber operasi dan mengaktifkan kompilasi paralel. Pembaruan ini juga mencakup beberapa implementasi kernel baru dan dukungan untuk format kuantisasi tambahan.

Memisahkan metallib menjadi 8 pustaka dan memuatnya secara paralel untuk meningkatkan waktu build.
Menambahkan op col2im_1d yang mendukung tipe data f32, f16, dan bf16.
Mengimplementasikan dukungan CONV_2D_DW (konvolusi kedalaman) untuk Metal.
Menambahkan dukungan format kuantisasi Q2_0.
Menggabungkan operasi aktivasi snake (mul, sin, sqr, mul, add).
Memperkenalkan kernel FWHT untuk backend Metal.

Rilis ini menyediakan biner pra-kompilasi untuk macOS, iOS, Linux, Windows, Android, dan openEuler di seluruh CPU, GPU, dan berbagai backend akselerator.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10610 memperpendek penamaan perangkat virtual di CUDA dan Metal

Proyek llama.cpp merilis versi b10610, yang mencakup perubahan untuk memperpendek penamaan perangkat virtual di dalam backend ggml untuk platform CUDA maupun Metal.

github llama.cpp · 13 jam lalu · 17 tayangan

llama.cpp b10605 meratakan proyeksi mamba2 untuk mengirim GEMM

Proyek llama.cpp merilis build b10605, yang mencakup optimisasi kunci untuk arsitektur Mamba2. Pembaruan ini meratakan proyeksi input dan output model Mamba2 untuk mengirim operasi Perkalian Matriks Umum (GEMM) alih-alih operasi Perkalian Matriks Umum oleh Vektor (GEMV).

github llama.cpp · 1 hari lalu · 13 tayangan

llama.cpp b10603 menambahkan dukungan MTP untuk GLM-4.5-Air

Proyek llama.cpp telah merilis build b10603, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.5-Air.

github llama.cpp · 3 hari lalu · 5 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.

github llama.cpp · 3 hari lalu · 3 tayangan

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

Proyek llama.cpp telah merilis build b10576, yang menambahkan kembali kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk dukungan SYCL. Perubahan ini secara efektif membatalkan commit sebelumnya yang telah menghapus implementasi kernel spesifik ini.