github llama.cpp · 2 jam lalu · inference

llama.cpp b10589 menambahkan dukungan CUDA POOL_1D

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10589, yang memperkenalkan dukungan CUDA POOL_1D melalui pull request #27573. Pembaruan ini juga mencakup perbaikan kepatuhan editorconfig dengan menambahkan baris baru akhir yang hilang.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows (x64 dan arm64), dan Android. Backend yang didukung meliputi CPU, CUDA 12/13, Vulkan, ROCm 7.14, OpenVINO, SYCL, dan OpenCL Adreno.

Rilis ini memungkinkan pengguna menjalankan llama.cpp di berbagai arsitektur perangkat keras dan sistem operasi dengan kemampuan pooling baru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10587 menambahkan PAD_REFLECT_1D ke backend Vulkan

Proyek llama.cpp merilis build b10587, yang memperkenalkan operasi GGML_OP_PAD_REFLECT_1D ke backend Vulkan. Pembaruan ini mengimplementasikan shader komputasi GLSL yang diperlukan dan mendaftarkannya untuk kompilasi SPIR-V di dalam modul ggml-vulkan.

github llama.cpp · 18 jam lalu · 2 tayangan

llama.cpp b10584 memperbaiki ukuran konteks draf untuk mencegah kesalahan server 500

Proyek llama.cpp merilis build b10584, mengatasi masalah kritis di mana ukuran konteks draf tidak sesuai dengan konteks target, menyebabkan permintaan server gagal dengan kesalahan 500.

media Hugging Face Forums · 21 jam lalu · 4 tayangan

Xyntetik Runner melatih LoRA langsung melalui bobot GGUF terkuantisasi

Joakimpalm-Zen telah memperbarui Xyntetik Runner untuk melatih adapter LoRA secara langsung menggunakan bobot GGUF terkuantisasi yang sama yang digunakannya untuk inferensi, sehingga menghilangkan kebutuhan akan salinan pelatihan FP16 terpisah atau waktu eksekusi.

github llama.cpp · 23 jam lalu · 2 tayangan

llama.cpp b10581 menambahkan dukungan DSpark untuk bailinmoe3

Proyek llama.cpp telah merilis build b10581, yang memperkenalkan dukungan untuk backend DSpark guna mengaktifkan model bailinmoe3.

github llama.cpp · 1 hari lalu · 1 tayangan

ggml mengoptimalkan operasi concat dengan mengganti memcpy per-elemen dengan memcpy tingkat baris

Pustaka ggml telah mengoptimalkan operasi penggabungan (concat) dengan mengganti salinan memori per-elemen dengan operasi memcpy tingkat baris. Perubahan ini merupakan bagian dari rilis b10578 llama.cpp, yang mencakup berbagai binari spesifik platform dan pembaruan pada grafik komputasi dasar.