github llama.cpp · 1 jam lalu · inference

llama.cpp b11372 memangkas memori indexer qwen4exp menjadi setengah dan menambahkan dukungan CUDA 4-head

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11372 memperkenalkan optimisasi untuk indexer lightning model qwen4exp, terutama dengan memangkas memori yang diperlukan untuk skor indexer selama pemrosesan konteks panjang. Hal ini dicapai dengan menghitung skor head secara in-place daripada membuat tensor terpisah untuk setiap head.

Indexer qwen4exp sekarang menggunakan kembali buffer allocator dan menghitung skor melalui ggml_lightning_indexer untuk mengurangi penggunaan memori puncak.
Dukungan backend CUDA ditambahkan untuk indexer lightning dengan 4 head, yang mendispatch mereka ke kernel vektor.
Backend Metal diperbarui untuk membaca jumlah head dari konstanta fungsi, memungkinkan jumlah head apa pun berjalan tanpa perubahan kode.
Backend Vulkan men-tile indexer lightning di atas kunci dan token menggunakan memori bersama dan perkalian titik fp16.

Perubahan ini meningkatkan efisiensi memori untuk model qwen4exp dengan konteks panjang sambil mempertahankan ukuran buffer komputasi dan kecepatan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11368 menambahkan sampling probabilistik untuk draf sederhana dan MTP

Proyek llama.cpp merilis build b11368, yang memperkenalkan sampling probabilistik untuk alur kerja draf sederhana dan MTP (Multi-Token Prediction). Pembaruan ini memodifikasi mekanisme drafting untuk menggunakan seleksi probabilistik sambil memverifikasi target melalui sampling penolakan.

github llama.cpp · 13 jam lalu · 1 tayangan

llama.cpp b11362 menambahkan kernel flash attention API tensor untuk KV F16

Proyek llama.cpp merilis build b11362, yang memperkenalkan kernel flash attention API tensor baru yang mendukung penyimpanan kunci-nilai (KV) F16. Pembaruan ini tersedia di platform macOS, Linux, Windows, Android, dan iOS dengan berbagai opsi backend termasuk CUDA, Vulkan, dan ROCm.

github llama.cpp · 17 jam lalu · 4 tayangan

llama.cpp b11351 menambahkan alloc_buffer_n dan get_alloc_size_n ke antarmuka tipe buffer backend ggml

Proyek llama.cpp merilis build b11351, memperkenalkan metode baru ke antarmuka tipe buffer backend ggml. Pembaruan ini menambahkan `alloc_buffer_n` dan `get_alloc_size_n` untuk memungkinkan kontrol yang lebih granular atas alokasi buffer dan kueri ukuran.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b11338 menambahkan salinan DMA strided bersama untuk CPY dan CONCAT

Proyek llama.cpp merilis build b11338, memperkenalkan mekanisme salinan Direct Memory Access (DMA) strided bersama untuk operasi CPY dan CONCAT. Pembaruan ini memungkinkan CONCAT dimensi apa pun melalui DMA pada arsitektur Hexagon.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b11335 merute sm70 ke tabel Turing MMVQ untuk performa Volta

Proyek llama.cpp merilis versi b11335, yang mencakup optimasi CUDA untuk GPU Volta. Pembaruan ini mengarahkan arsitektur sm_70 ke tabel nwarps Turing MMVQ yang ada alih-alih jatuh ke konfigurasi generik.