v0.30.0rc2가 알림 전용 요청에 대한 NIXL 수신 보고를 수정함
v0.30.0rc2 릴리스에는 알림 전용 요청에 대해 수신 보고서를 생성하지 않도록 하는 NIXL의 버그 수정이 포함되어 있습니다.
vLLM v0.29.0이 하이브리드 모델에 기본 밀집 접두사 캐시를 적용
vLLM 프로젝트는 밀집 접두사 캐시에 대한 핵심 버그 수정을 포함하는 버전 0.29.0을 출시했습니다.
v0.29.0rc5는 Mamba에 대해 prefix_cache_retention_interval 기본값을 dense로 변경
v0.29.0rc5 릴리스는 Mamba 모델에 대해 `prefix_cache_retention_interval` 매개변수의 기본 값을 `dense`로 업데이트합니다.
v0.29.0rc2가 접두사 덮개 항목에 대한 SHM 작업자 캐시를 수정함
v0.29.0rc2 릴리스에는 접두사 덮개 항목을 적절히 처리하기 위한 SHM 작업자 캐시의 버그 수정이 포함되어 있습니다.