一名用户提交了针对 llama.cpp 的修复程序,解决了运行 DeepSeek V4 Flash (DSV4) 时遇到的崩溃和停滞问题。该问题源于在分歧回合期间序列移除不当,导致系统重新预填充数千个 token,而不是仅重新预填充增量部分。
- 根本原因是 DSV4 无法执行部分 seq_rm,强制进行检查点恢复,但未能清除未来的 SWA 单元格。
- 此错误耗尽了 768-cell SWA 窗口,导致在逻辑深度约 1250 token 处出现 "Context size has been exceeded" 崩溃。
- 该修复实现了对分歧后缀的正确 seq_rm,确保仅重新预填充增量部分。
- 作者提供了一个分支版本,用于解决这些问题并进行复现和测试。
此次更新同时消除了崩溃和停滞问题,即使在较低的 token 速度下也改善了用户体验。