vLLM プロジェクトはバージョン 0.25.1 をリリースしました。これには、混合精度 allreduce RMSNorm 量子化融合のバグ修正が含まれています。
- このアップデートは、フレームワークにおける混合精度 allreduce RMSNorm 量子化融合の問題に対処しています。
vLLM v0.25.1 が混合精度 allreduce RMSNorm 量子化融合を修正
翻訳元 English → 日本語
vLLM プロジェクトはバージョン 0.25.1 をリリースしました。これには、混合精度 allreduce RMSNorm 量子化融合のバグ修正が含まれています。