github llama.cpp · baru saja · inference

llama.cpp b10587 menambahkan PAD_REFLECT_1D ke backend Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10587, yang memperkenalkan operasi GGML_OP_PAD_REFLECT_1D ke backend Vulkan. Pembaruan ini mengimplementasikan shader komputasi GLSL yang diperlukan dan mendaftarkannya untuk kompilasi SPIR-V di dalam modul ggml-vulkan.

Logika PAD_REFLECT_1D diimplementasikan di pad_reflect_1d.comp dan vulkan-shaders-gen.cpp diperbarui untuk pendaftaran.
ggml-vulkan.cpp diperbarui untuk menangani konstanta, pembuatan pipeline, fungsi dispatch, dan validasi debug untuk operasi baru.
Validasi kebenaran dilakukan pada Intel Iris Xe dengan Vulkan 1.4 dan Mesa 25.2.8, melewati semua kasus uji.
Benchmark kinerja disediakan yang menunjukkan waktu eksekusi berkisar dari 5.38 us/run hingga 158.31 us/run di berbagai bentuk tensor.

Rilis ini mengaktifkan penggunaan padding refleksi dalam tugas inferensi yang dipercepat Vulkan dan menyediakan biner untuk platform macOS, Linux, Windows, Android, dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10584 memperbaiki ukuran konteks draf untuk mencegah kesalahan server 500

Proyek llama.cpp merilis build b10584, mengatasi masalah kritis di mana ukuran konteks draf tidak sesuai dengan konteks target, menyebabkan permintaan server gagal dengan kesalahan 500.

media Hugging Face Forums · 8 jam lalu · 1 tayangan

Xyntetik Runner melatih LoRA langsung melalui bobot GGUF terkuantisasi

Joakimpalm-Zen telah memperbarui Xyntetik Runner untuk melatih adapter LoRA secara langsung menggunakan bobot GGUF terkuantisasi yang sama yang digunakannya untuk inferensi, sehingga menghilangkan kebutuhan akan salinan pelatihan FP16 terpisah atau waktu eksekusi.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b10581 menambahkan dukungan DSpark untuk bailinmoe3

Proyek llama.cpp telah merilis build b10581, yang memperkenalkan dukungan untuk backend DSpark guna mengaktifkan model bailinmoe3.

github llama.cpp · 12 jam lalu · 1 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.

github llama.cpp · 13 jam lalu · 1 tayangan

llama.cpp b10576 menambahkan kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk SYCL

Proyek llama.cpp telah merilis build b10576, yang menambahkan kembali kernel MMVQ Q2_K yang diurutkan ulang dan ESIMD untuk dukungan SYCL. Perubahan ini secara efektif membatalkan commit sebelumnya yang telah menghapus implementasi kernel spesifik ini.