qwen4expプロジェクトは、効果的なマルチトークン予測（MTP）推測デコーディングを可能にするために、再帰状態のロールバックサポートを実装しました。この変更により、ターゲット状態が拒否されたドラフトトークンの数だけ後退し、すべての再帰状態をホストメモリにシリアライズする不要な処理を防ぎます。

以前は、`build_conv_state_at`関数が単一のプレーンのみを書き込んでいたため、ロールバック時に不完全な畳み込み履歴が復元されていました。更新により、delta net QKVとPLE畳み込みの両方に対してスロットごとに1つのスナップショットが書き込まれ、正確な状態復元が保証されます。

MTPドラフト付きのQwen3.8-Flash-Next UD-Q4_K_XLでのベンチマークでは、コードで183 tok/s、散文で144 tok/sのデコーディング速度を示しました。これは、それぞれ123および83 tok/sしか達成できなかった以前のフォールバック方法と比較して、大幅な改善です。