github vLLM · 2 hari lalu · inference

v0.29.0rc5 mengubah prefix_cache_retention_interval default menjadi dense untuk Mamba

Diterjemahkan dari English → Bahasa Indonesia

Rilis v0.29.0rc5 memperbarui nilai default parameter `prefix_cache_retention_interval` menjadi `dense` secara khusus untuk model Mamba.

Perubahan ini menargetkan arsitektur Mamba di dalam sistem inti.
Ini memodifikasi perilaku caching dengan menetapkan interval retensi menjadi dense.

Kepentingan 1/3 Kepercayaan 2/3 vLLM Inference efficiency

Baca aslinya

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

DeepSeek AI telah merilis DeepSeek-V4.1-Flash, sebuah model Mixture-of-Experts multimodal yang dilengkapi jendela konteks 1 juta token dan cache KV FP4 yang mengurangi jejak cache global menjadi 890 byte per token. Model ini memanfaatkan arsitektur encoder-decoder kausal dan Compressed Sparse Attention 2 (CSA2) untuk secara signifikan menurunkan kebutuhan memori sambil mempertahankan kinerja.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

Rilis llama.cpp b10889 menghindari alokasi cache V untuk indexer

llama.cpp b10888 menambahkan label debug buffer perintah untuk profiler GPU

llama.cpp b10886 menambahkan dukungan intrinsik vektor Q1_0 untuk s390x

llama.cpp b10883 memperbaiki perkalian matriks Vulkan dan memulihkan optimasi Ampere