Проект vLLM выпустил версию 0.25.0rc2, устраняющую определенные проблемы в бэкенде моделирования Transformers.
- Исправлены проблемы с масштабированием эмбеддингов.
- Устранены проблемы с графами CUDA.
vLLM v0.25.0rc2 исправляет масштабирование эмбеддингов и графы CUDA в бэкенде Transformers
Переведено с English → Русский