github llama.cpp · 1 jam lalu · inference

llama.cpp b10610 memperpendek penamaan perangkat virtual di CUDA dan Metal

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10610, yang mencakup perubahan untuk memperpendek penamaan perangkat virtual di dalam backend ggml untuk platform CUDA maupun Metal.

Pembaruan ini mengubah cara perangkat virtual diberi nama di backend CUDA dan Metal untuk mengurangi kerumitan.
Build macOS Apple Silicon dengan dukungan KleidiAI tetap dinonaktifkan di rilis ini.
Binari disediakan untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 7.14), Android, dan openEuler.

Rilis ini menyediakan binari yang diperbarui untuk berbagai akselerator perangkat keras dan sistem operasi, sambil menyempurnakan string identifikasi perangkat internal.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10605 meratakan proyeksi mamba2 untuk mengirim GEMM

Proyek llama.cpp merilis build b10605, yang mencakup optimisasi kunci untuk arsitektur Mamba2. Pembaruan ini meratakan proyeksi input dan output model Mamba2 untuk mengirim operasi Perkalian Matriks Umum (GEMM) alih-alih operasi Perkalian Matriks Umum oleh Vektor (GEMV).

github llama.cpp · 20 jam lalu · 12 tayangan

llama.cpp b10603 menambahkan dukungan MTP untuk GLM-4.5-Air

Proyek llama.cpp telah merilis build b10603, yang memperkenalkan dukungan Prediksi Multi-Token (MTP) untuk model GLM-4.5-Air.

github llama.cpp · 2 hari lalu · 6 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

Proyek llama.cpp telah merilis build b10576, yang menambahkan kembali kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk dukungan SYCL. Perubahan ini secara efektif membatalkan commit sebelumnya yang telah menghapus implementasi kernel spesifik ini.

github llama.cpp · 2 hari lalu · 6 tayangan

llama.cpp b10577 memperbaiki draft-mtp dengan embeddings

Proyek llama.cpp merilis build b10577, yang mencakup perbaikan untuk draft-mtp saat digunakan dengan embeddings. Pembaruan ini mengatasi masalah #26352 dan #27299.