github llama.cpp · 2 jam lalu · inference

llama.cpp b10273 memperbaiki panjang konteks sampler dan menghapus jendela konteks penuh

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10273, mengatasi masalah kritis di mana sampler berbasis riwayat tidak dapat menyimpulkan panjang konteks yang benar selama inisialisasi karena kendala backend-sampling.

Memperbaiki -1 menjadi 1024 alih-alih ctx-len untuk sampler guna memperbaiki kesalahan inisialisasi.
Menetapkan default bersama sebesar 64 untuk sampler berbasis riwayat dan menghapus parameter context_size.
Menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler melalui CPU, GPU (CUDA, Vulkan, ROCm, SYCL), dan backend OpenVINO.

Pembaruan ini memastikan perilaku sampler yang stabil selama fase konstruksi awal ketika llama_context lengkap belum tersedia.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10269 memperbaiki dflash wo_a reshape saat pemuatan

Proyek llama.cpp telah merilis build b10269, yang mencakup perbaikan untuk masalah reshape dflash wo_a selama pemuatan model.

media Hugging Face Forums · 7 jam lalu

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.

github llama.cpp · 7 jam lalu

llama.cpp b10262 menambahkan GATED_LINEAR_ATTN ke backend Vulkan

Proyek llama.cpp merilis build b10262, yang memperkenalkan dukungan untuk operasi GATED_LINEAR_ATTN di backend Vulkan-nya. Pembaruan ini juga mencakup pembaruan dokumentasi untuk operasi Vulkan dan menghapus konstanta spesifikasi GLA yang tidak digunakan.

github llama.cpp · 10 jam lalu

llama.cpp b10259 memungkinkan reshaping tensor selama pemuatan

Proyek llama.cpp telah merilis build b10259, yang memperkenalkan kemampuan untuk memungkinkan reshaping tensor selama proses pemuatan.

github llama.cpp · 16 jam lalu

llama.cpp b10256 mem paralelkan kernel penggabungan tidak berurutan untuk SYCL

Rilis llama.cpp b10256 menyertakan perubahan untuk mem paralelkan kernel penggabungan tidak berurutan untuk perangkat SYCL. Pembaruan mengubah geometri peluncuran dari grup kerja satu jalur ke yang menggunakan `SYCL_CONCAT_BLOCK_SIZE`.