github llama.cpp · 1 jam lalu · inference

llama.cpp b10603 menambahkan dukungan MTP untuk GLM-4.5-Air

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10603, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.5-Air.

Menambahkan kemampuan MTP untuk GLM-4.5-Air melalui pull request #26534.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm), dan openEuler.

Rilis ini memungkinkan pengguna menjalankan GLM-4.5-Air dengan MTP di berbagai arsitektur perangkat keras.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

Proyek llama.cpp telah merilis build b10576, yang menambahkan kembali kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk dukungan SYCL. Perubahan ini secara efektif membatalkan commit sebelumnya yang telah menghapus implementasi kernel spesifik ini.

github llama.cpp · 2 hari lalu · 2 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

llama.cpp b10577 memperbaiki draft-mtp dengan embeddings

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2

Rilis llama.cpp v0.2.0 dengan ggml 0.21.0 dan dukungan Kleidiai SME2