Proyek vLLM telah merilis versi 0.25.0rc2, yang menangani masalah tertentu dalam backend pemodelan Transformers.

  • Memperbaiki masalah penskalaan embed.
  • Menyelesaikan masalah dengan grafik CUDA.