qwen4exp 项目已实现循环状态回滚支持,以启用有效的多令牌预测 (MTP) 推测解码。此更改允许目标状态回退被拒绝的草稿令牌数量,从而避免将整个循环状态序列化到主机内存。

此前,`build_conv_state_at` 函数仅写入单个平面,导致回滚时恢复不完整的卷积历史。更新后的代码现在为 delta net QKV 和 PLE 卷积的每个槽位写入一个快照,确保准确的状态恢复。

在带有 MTP 草稿的 Qwen3.8-Flash-Next UD-Q4_K_XL 上的基准测试显示,代码解码速度为 183 tok/s,散文为 144 tok/s。这比之前的回退方法(分别为 123 和 83 tok/s)有显著提升。