github llama.cpp · 1 jam lalu · inference

llama.cpp b11405 menyusun pengindeks kilat berdasarkan kunci dan token untuk 4 kepala

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11405 memperbarui backend CUDA dengan menyusun pengindeks kilat berdasarkan kunci dan token untuk 4 kepala, mengatasi masalah kinerja dengan jumlah kepala yang kecil.

Tahap kernel mengkuery dan bobot untuk semua kepala sekaligus, melebarkan setiap elemen kunci presisi setengah sekali untuk memberi makan semua kepala tanpa perjalanan balik float.
Query tetap dalam float di memori bersama untuk mencegah overflow dari produk half2 ketika q * k melebihi rentang f16.
Setiap utas sekarang menilai dua kunci untuk satu token, mengurangi bacaan bersama dan menjaga gfx908 pada 63 VGPR tanpa tumpahan register.
Optimasi ini membuat kernel 36x lebih cepat di R9700 dan sedikit lebih cepat di perangkat keras CUDA.

Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di seluruh backend CPU, GPU (CUDA, ROCm, Vulkan, OpenCL), dan NPU.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b11403 menggunakan MMVF untuk mul_mat f16/bf16 tipis pada batch kecil

Proyek llama.cpp merilis versi b11403, yang mencakup optimasi CUDA untuk menggunakan kernel MMVF untuk perkalian matriks f16 dan bf16 tipis pada ukuran batch kecil.

github llama.cpp · 19 jam lalu · 28 tayangan

llama.cpp b11390 memperbaiki kesalahan memori CUDA MMQ

Proyek llama.cpp telah merilis versi b11390, yang mencakup perbaikan untuk kesalahan memori CUDA MMQ yang terjadi ketika jumlah ahli secara signifikan lebih besar dari ukuran mikro-batch.

github llama.cpp · 2 hari lalu · 24 tayangan

llama.cpp b11375 memperbaiki penghentian realokasi graf di bawah GGML_SCHED_NO_REALLOC

Proyek llama.cpp merilis build b11375, yang menangani masalah kritis di mana sel ubatch non-kontigu memaksa realokasi graf yang akan dihentikan ketika flag GGML_SCHED_NO_REALLOC disetel.

github llama.cpp · 2 hari lalu · 29 tayangan

llama.cpp b11372 memangkas memori indexer qwen4exp menjadi setengah dan menambahkan dukungan CUDA 4-head

Rilis llama.cpp b11372 memperkenalkan optimisasi untuk indexer lightning model qwen4exp, terutama dengan memangkas memori yang diperlukan untuk skor indexer selama pemrosesan konteks panjang. Hal ini dicapai dengan menghitung skor head secara in-place daripada membuat tensor terpisah untuk setiap head.

github llama.cpp · 2 hari lalu · 30 tayangan

llama.cpp b11368 menambahkan sampling probabilistik untuk draf sederhana dan MTP

Proyek llama.cpp merilis build b11368, yang memperkenalkan sampling probabilistik untuk alur kerja draf sederhana dan MTP (Multi-Token Prediction). Pembaruan ini memodifikasi mekanisme drafting untuk menggunakan seleksi probabilistik sambil memverifikasi target melalui sampling penolakan.