v0.30.0rc2 исправляет отчёты NIXL о приёме для запросов только с уведомлениями
Релиз v0.30.0rc2 включает исправление ошибки в NIXL, предотвращающее создание отчётов о приёме для запросов, предназначенных только для уведомлений.
vLLM v0.29.0 применяет кэш префиксов по умолчанию для гибридных моделей
Проект vLLM выпустил версию 0.29.0, которая включает исправление основной ошибки, связанной с плотным кэшем префиксов.
v0.29.0rc5 меняет значение prefix_cache_retention_interval по умолчанию на dense для Mamba
В релизе v0.29.0rc5 обновлено значение по умолчанию параметра `prefix_cache_retention_interval` на `dense` специально для моделей Mamba.
v0.29.0rc2 исправляет кэш рабочих процессов SHM для элементов, покрываемых префиксом
В выпуске v0.29.0rc2 включено исправление ошибки в кэше рабочих процессов SHM для правильной обработки элементов, покрываемых префиксом.