github vLLM · baru saja · inference

vLLM v0.28.0rc2 menambahkan DFlash2 Spec Decode dengan konvolusi lokal dan pemilih kandidat

Diterjemahkan dari English → Bahasa Indonesia

Proyek vLLM merilis versi 0.28.0rc2, yang mencakup fitur decoding spekulatif DFlash2.

DFlash2 mengimplementasikan mekanisme konvolusi lokal untuk generasi token yang efisien.
Pembaruan ini memperkenalkan pemilih kandidat khusus untuk meningkatkan proses spec decode.
Perubahan ini di-cherry-pick dari commit b389ac2 dan ditandatangani oleh khluu.

Kepentingan 1/3 Kepercayaan 2/3 vLLM Inference efficiency

llama.cpp b10539 memperbaiki overflow Vulkan FA MMQ dan menambahkan dukungan CUDA 13 untuk Windows

Proyek llama.cpp telah merilis versi b10539, yang mengatasi masalah stabilitas numerik kritis di backend Vulkan sambil memperluas dukungan perangkat keras untuk pengguna Windows.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10541 menambahkan argumen --mmproj-device untuk proyek multimodal

Proyek llama.cpp merilis build b10541, memperkenalkan argumen baris perintah `--mmproj-device` yang memungkinkan pengguna menentukan backend perangkat untuk memuat file proyeksi multimodal.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10545 memperbaiki bacaan di luar batas pada matmul Metal untuk K yang bukan kelipatan 32

Proyek llama.cpp merilis build b10545, yang mengatasi bug kritis pada kernel perkalian matriks API tensor backend Metal. Pembaruan ini mencegah perilaku tak terdefinisi dan hasil yang rusak saat memproses tensor di mana dimensi K bukan kelipatan 32.

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp b10534 menambahkan titik sakelar per-HW CUDA untuk decode lebih cepat

Proyek llama.cpp merilis build b10534, yang memperkenalkan titik sakelar spesifik perangkat keras untuk menyetel crossover antara jalur vektor dan inti tensor selama decoding terkuantisasi pada CUDA.

github llama.cpp · 5 jam lalu · 1 tayangan

Rilis llama.cpp b10538 dengan cache KV yang didekuantisasi untuk batch besar

Proyek llama.cpp telah merilis versi b10538, memperkenalkan optimasi kunci pada backend metal. Pembaruan ini memungkinkan dekuantisasi cache kunci-nilai (KV) secara eksklusif untuk ukuran batch yang besar.