vLLM 프로젝트는 버전 0.25.0rc2를 출시하여 Transformers 모델링 백엔드 내의 특정 문제를 해결했습니다.
- 임베딩 스케일링 문제 수정.
- CUDA 그래프 문제 해결.
vLLM v0.25.0rc2가 Transformers 백엔드의 임베딩 스케일링 및 CUDA 그래프 수정
번역 English → 한국어
vLLM 프로젝트는 버전 0.25.0rc2를 출시하여 Transformers 모델링 백엔드 내의 특정 문제를 해결했습니다.