qwen4exp 프로젝트는 효과적인 다중 토큰 예측(MTP) 추측 디코딩을 가능하게 하기 위해 재귀 상태 롤백 지원을 구현했습니다. 이 변경으로 대상 상태가 거부된 드래프트 토큰 수만큼 뒤로 이동하여 전체 재귀 상태를 호스트 메모리에 불필요하게 직렬화하는 것을 방지합니다.

이전에는 `build_conv_state_at` 함수가 단일 평면만 작성하여 롤백 시 불완전한 합성역사(convolution history)가 복원되었습니다. 업데이트는 이제 delta net QKV와 PLE 합성에 대해 슬롯당 하나의 스냅샷을 작성하여 정확한 상태 복원을 보장합니다.

MTP 드래프트가 포함된 Qwen3.8-Flash-Next UD-Q4_K_XL에서의 벤치마크는 코드에서 183 tok/s, 산문에서 144 tok/s의 디코딩 속도를 보여줍니다. 이는 각각 123 및 83 tok/s만 달성한 이전 폴백 방식에 비해 상당한 개선입니다.