github llama.cpp · 1 jam lalu · inference

llama.cpp b10605 meratakan proyeksi mamba2 untuk mengirim GEMM

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10605, yang mencakup optimisasi kunci untuk arsitektur Mamba2. Pembaruan ini meratakan proyeksi input dan output model Mamba2 untuk mengirim operasi Perkalian Matriks Umum (GEMM) alih-alih operasi Perkalian Matriks Umum oleh Vektor (GEMV).

Meratakan proyeksi in/out mamba2 untuk memungkinkan pengiriman GMM daripada GEMV.
Menghapus operasi reshaping output yang redundan di dalam implementasi Mamba2.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, Vulkan, dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10603 menambahkan dukungan MTP untuk GLM-4.5-Air

Proyek llama.cpp telah merilis build b10603, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.5-Air.

github llama.cpp · 2 hari lalu · 2 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.

github llama.cpp · 2 hari lalu · 3 tayangan

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

Proyek llama.cpp telah merilis build b10576, yang menambahkan kembali kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk dukungan SYCL. Perubahan ini secara efektif membatalkan commit sebelumnya yang telah menghapus implementasi kernel spesifik ini.

github llama.cpp · 2 hari lalu · 6 tayangan

llama.cpp b10577 memperbaiki draft-mtp dengan embeddings

Proyek llama.cpp merilis build b10577, yang mencakup perbaikan untuk draft-mtp saat digunakan dengan embeddings. Pembaruan ini mengatasi masalah #26352 dan #27299.

github llama.cpp · 2 hari lalu · 9 tayangan

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2

Proyek llama.cpp merilis build b10568, yang memperbarui penanganan model untuk menggunakan fungsi `ggml_rope_set_offset()`. Perubahan ini sebagian diterapkan untuk mendukung DeepSeek 2.