github llama.cpp · 1 jam lalu · inference

llama.cpp b10577 memperbaiki draft-mtp dengan embeddings

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10577, yang mencakup perbaikan untuk draft-mtp saat digunakan dengan embeddings. Pembaruan ini mengatasi masalah #26352 dan #27299.

Memperbaiki kompatibilitas draft-mtp dengan embeddings di modul umum.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm), Android, dan openEuler.

Rilis ini memastikan bahwa draft-mtp berfungsi dengan benar dengan input embedding di platform yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

Proyek llama.cpp telah merilis build b10576, yang menambahkan kembali kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk dukungan SYCL. Perubahan ini secara efektif membatalkan commit sebelumnya yang telah menghapus implementasi kernel spesifik ini.

github llama.cpp · 10 jam lalu · 2 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

llama.cpp b10568 menggunakan ggml_rope_set_offset() untuk DeepSeek 2

Rilis llama.cpp v0.2.0 dengan ggml 0.21.0 dan dukungan Kleidiai SME2

llama.cpp b10541 menambahkan argumen --mmproj-device untuk proyek multimodal