github llama.cpp · baru saja · inference

Rilis llama.cpp b10889 menghindari alokasi cache V untuk indexer

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10889, yang mencakup optimasi memori untuk menghindari alokasi cache V untuk indexer karena tidak digunakan.

Pembaruan ini menyediakan binaris pra-bangun untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x dengan CPU, Vulkan, ROCm 10.0, OpenVINO, dan backend SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0), dan openEuler.

Rilis ini juga mencakup UI llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

Proyek llama.cpp telah merilis build b10888, yang mencakup fitur baru untuk menambahkan label debug buffer perintah untuk profiler GPU di backend Vulkan.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x

Proyek llama.cpp merilis build b10886, yang memperkenalkan dukungan intrinsik vektor Q1_0 untuk arsitektur s390x. Pembaruan ini mencakup implementasi `ggml_vec_dot_q1_0_q8_0` dan memperbarui dokumentasi untuk mencerminkan kemampuan baru.

github llama.cpp · 17 jam lalu · 1 tayangan

llama.cpp b10883 memperbaiki perkalian matriks Vulkan dan memulihkan optimasi Ampere

Proyek llama.cpp merilis build b10883, yang mencakup pembaruan signifikan pada backend Vulkan. Perubahan utama melibatkan penggunaan konstanta spesifikasi untuk operasi perkalian matriks-matriks tipe A guna meningkatkan kompilasi shader dan kinerja.

media r/LocalLLaMA · 20 jam lalu · 1 tayangan

gtrg55 merilis NVIDIA Cosmos3 64B terkuantisasi INT4 untuk generasi gambar lokal

Seorang pengguna telah menerbitkan kode dan bobot untuk menjalankan model Cosmos3 NVIDIA dengan 64 miliar parameter secara lokal menggunakan kuantisasi INT4. Implementasi ini mendukung tugas Text-to-Image dan Image-to-Video di Apple Silicon melalui MLX serta CUDA.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10872 memperbaiki operand kiri null dalam pencarian template Jinja

Proyek llama.cpp merilis build b10872, yang mencakup perbaikan untuk penanganan template Jinja. Pembaruan ini mengatasi masalah di mana template yang menetapkan variabel opsional ke none dan menguji keanggotaannya dalam peta sebelumnya menimbulkan kesalahan.