github llama.cpp · 1 hari lalu · inference

llama.cpp b10872 memperbaiki operand kiri null dalam pencarian template Jinja

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10872, yang mencakup perbaikan untuk penanganan template Jinja. Pembaruan ini mengatasi masalah di mana template yang menetapkan variabel opsional ke none dan menguji keanggotaannya dalam peta sebelumnya menimbulkan kesalahan.

Memperlakukan operand kiri null dari 'in' sebagai pencarian biasa, sesuai dengan perilaku standar Jinja.
Memperbaiki kesalahan dalam template yang menguji keanggotaan variabel tidak terdefinisi terhadap peta.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm), dan openEuler.

Perubahan ini memastikan kompatibilitas template dengan semantik standar Jinja untuk variabel tidak terdefinisi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Rilis llama.cpp b10889 menghindari alokasi cache V untuk indexer

Proyek llama.cpp telah merilis build b10889, yang mencakup optimasi memori untuk menghindari alokasi cache V untuk indexer karena tidak digunakan.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

Proyek llama.cpp telah merilis build b10888, yang mencakup fitur baru untuk menambahkan label debug buffer perintah untuk profiler GPU di backend Vulkan.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x

Proyek llama.cpp merilis build b10886, yang memperkenalkan dukungan intrinsik vektor Q1_0 untuk arsitektur s390x. Pembaruan ini mencakup implementasi `ggml_vec_dot_q1_0_q8_0` dan memperbarui dokumentasi untuk mencerminkan kemampuan baru.

github llama.cpp · 17 jam lalu · 1 tayangan

llama.cpp b10883 memperbaiki perkalian matriks Vulkan dan memulihkan optimasi Ampere

Proyek llama.cpp merilis build b10883, yang mencakup pembaruan signifikan pada backend Vulkan. Perubahan utama melibatkan penggunaan konstanta spesifikasi untuk operasi perkalian matriks-matriks tipe A guna meningkatkan kompilasi shader dan kinerja.

media r/LocalLLaMA · 20 jam lalu · 1 tayangan

gtrg55 merilis NVIDIA Cosmos3 64B terkuantisasi INT4 untuk generasi gambar lokal

Seorang pengguna telah menerbitkan kode dan bobot untuk menjalankan model Cosmos3 NVIDIA dengan 64 miliar parameter secara lokal menggunakan kuantisasi INT4. Implementasi ini mendukung tugas Text-to-Image dan Image-to-Video di Apple Silicon melalui MLX serta CUDA.