v0.30.0rc2 memperbaiki laporan penerimaan NIXL untuk permintaan hanya notifikasi
Rilis v0.30.0rc2 menyertakan perbaikan bug untuk NIXL guna menghindari pembuatan laporan penerimaan untuk permintaan yang hanya memerlukan notifikasi.
vLLM v0.29.0 menerapkan cache prefix padat default ke model hibrida
Proyek vLLM merilis versi 0.29.0, yang mencakup perbaikan bug inti terkait cache prefix padat.
v0.29.0rc5 mengubah prefix_cache_retention_interval default menjadi dense untuk Mamba
Rilis v0.29.0rc5 memperbarui nilai default parameter `prefix_cache_retention_interval` menjadi `dense` secara khusus untuk model Mamba.
v0.29.0rc2 memperbaiki cache pekerja SHM untuk item yang dicakup awalan
Rilis v0.29.0rc2 menyertakan perbaikan bug untuk cache pekerja SHM agar dapat menangani item yang dicakup awalan dengan benar.