github llama.cpp · 1 jam lalu · inference

llama.cpp b10269 memperbaiki dflash wo_a reshape saat pemuatan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10269, yang mencakup perbaikan untuk masalah reshape dflash wo_a selama pemuatan model.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x dengan backend CPU, Vulkan, ROCm 7.2, OpenVINO, dan SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler (x86 dan aarch64 dengan ACL Graph).

Pembaruan ini tersedia untuk diunduh di semua platform yang didukung untuk memastikan perilaku pemuatan model yang benar.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.

github llama.cpp · 5 jam lalu

llama.cpp b10262 menambahkan GATED_LINEAR_ATTN ke backend Vulkan

Proyek llama.cpp merilis build b10262, yang memperkenalkan dukungan untuk operasi GATED_LINEAR_ATTN di backend Vulkan-nya. Pembaruan ini juga mencakup pembaruan dokumentasi untuk operasi Vulkan dan menghapus konstanta spesifikasi GLA yang tidak digunakan.

github llama.cpp · 7 jam lalu

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

llama.cpp b10262 menambahkan GATED_LINEAR_ATTN ke backend Vulkan

llama.cpp b10259 memungkinkan reshaping tensor selama pemuatan

llama.cpp b10256 mem paralelkan kernel penggabungan tidak berurutan untuk SYCL

llama.cpp b10254 menambahkan template DeepSeek V4 Flash 0731 dan memperbarui template V4