vLLM 项目发布了版本 0.25.0rc2,解决了 Transformers 建模后端中的特定问题。

  • 修复了嵌入缩放问题。
  • 解决了 CUDA 图的问题。