github llama.cpp · 2 jam lalu · inference

llama.cpp b10262 menambahkan GATED_LINEAR_ATTN ke backend Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10262, yang memperkenalkan dukungan untuk operasi GATED_LINEAR_ATTN di backend Vulkan-nya. Pembaruan ini juga mencakup pembaruan dokumentasi untuk operasi Vulkan dan menghapus konstanta spesifikasi GLA yang tidak digunakan.

Mengimplementasikan operasi GATED_LINEAR_ATTN untuk Vulkan (#25601)
Memperbarui dokumentasi operasi Vulkan
Menghapus konstanta spesifikasi GLA yang tidak digunakan

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan iOS di berbagai backend CPU, CUDA, ROCm, OpenVINO, SYCL, dan Vulkan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.

github llama.cpp · 4 jam lalu

llama.cpp b10259 memungkinkan reshaping tensor selama pemuatan

Proyek llama.cpp telah merilis build b10259, yang memperkenalkan kemampuan untuk memungkinkan reshaping tensor selama proses pemuatan.

github llama.cpp · 10 jam lalu

llama.cpp b10256 mem paralelkan kernel penggabungan tidak berurutan untuk SYCL

Rilis llama.cpp b10256 menyertakan perubahan untuk mem paralelkan kernel penggabungan tidak berurutan untuk perangkat SYCL. Pembaruan mengubah geometri peluncuran dari grup kerja satu jalur ke yang menggunakan `SYCL_CONCAT_BLOCK_SIZE`.

github llama.cpp · 10 jam lalu

llama.cpp b10254 menambahkan template DeepSeek V4 Flash 0731 dan memperbarui template V4

Proyek llama.cpp merilis versi b10254, memperkenalkan template obrolan baru untuk model DeepSeek V4 Flash 0731 bersama dengan pembaruan pada template DeepSeek V4 yang ada.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.