O projeto vLLM lançou a versão 0.25.0rc2, abordando problemas específicos dentro do backend de modelagem do Transformers.

  • Corrige problemas de escalonamento de embeddings.
  • Resolve problemas com gráficos CUDA.