v0.25.0rc3 リリースには、MTP speculative decoding における PD 非同期 KV ロードの先読み処理に関するバグ修正が含まれています。
- MTP spec decoding における PD 非同期 KV ロードの先読み処理の問題を解決。
v0.25.0rc3 が MTP 推論における PD 非同期 KV ロードの先読み処理を修正
翻訳元 English → 日本語
v0.25.0rc3 リリースには、MTP speculative decoding における PD 非同期 KV ロードの先読み処理に関するバグ修正が含まれています。