github vLLM · 2 hari lalu · inference

vLLM v0.29.0 menerapkan cache prefix padat default ke model hibrida

Diterjemahkan dari English → Bahasa Indonesia

Proyek vLLM merilis versi 0.29.0, yang mencakup perbaikan bug inti terkait cache prefix padat.

Pembaruan ini menerapkan pengaturan default cache prefix padat secara khusus untuk model hibrida.

Kepentingan 1/3 Kepercayaan 2/3 vLLM Inference efficiency

llama.cpp b10891 memperbaiki crash Vulkan PowerVR dengan kembali ke reduksi memori bersama

Proyek llama.cpp merilis versi b10891, yang mengatasi masalah stabilitas kritis pada GPU PowerVR. Pembaruan ini memodifikasi backend Vulkan agar kembali ke reduksi memori bersama untuk operasi perkalian matriks-vektor dekuantisasi (dmmv).

media MarkTechPost · baru saja Langsung

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

DeepSeek AI telah merilis DeepSeek-V4.1-Flash, sebuah model Mixture-of-Experts multimodal yang dilengkapi jendela konteks 1 juta token dan cache KV FP4 yang mengurangi jejak cache global menjadi 890 byte per token. Model ini memanfaatkan arsitektur encoder-decoder kausal dan Compressed Sparse Attention 2 (CSA2) untuk secara signifikan menurunkan kebutuhan memori sambil mempertahankan kinerja.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10891 memperbaiki crash Vulkan PowerVR dengan kembali ke reduksi memori bersama

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

Rilis llama.cpp b10889 menghindari alokasi cache V untuk indexer

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x