vllm 发布了 v0.24.0rc1,其中包括对 SM75 上 topk 直方图构建问题的修复。该更改是从提交 191826e 中 cherry-pick 的,并由 Mohammad Miadh Angkad 签署确认。
v0.24.0rc1:修复 SM75 上的 topk 直方图构建问题
译自 English → 中文
vllm 发布了 v0.24.0rc1,其中包括对 SM75 上 topk 直方图构建问题的修复。该更改是从提交 191826e 中 cherry-pick 的,并由 Mohammad Miadh Angkad 签署确认。