v0.25.0rc3 릴리스에는 MTP speculative decoding 을 위한 PD 비동기 KV 로드에서 전방 탐색 처리 관련 버그 수정이 포함되어 있습니다.
- MTP spec decoding 에 대한 PD 비동기 KV 로드 전방 탐색 처리 문제를 해결.
v0.25.0rc3, MTP 추론을 위한 PD 비동기 KV 로드 전방 탐색 처리 수정
번역 English → 한국어
v0.25.0rc3 릴리스에는 MTP speculative decoding 을 위한 PD 비동기 KV 로드에서 전방 탐색 처리 관련 버그 수정이 포함되어 있습니다.