一位在搭载 M3 Ultra 的 Mac Studio 上运行 Qwen3.5-122B 的开发人员发现了 qMLX 服务栈中的三个特定错误,这些错误导致长上下文代理编码期间出现严重延迟。

这些问题包括破坏 KV cache 匹配的提示不稳定、导致历史分流的流式响应中断,以及触发激进驱逐的检查点中毒。

修复这些错误将预填充时间从几分钟减少到不到一秒,使得仅使用 33 个预填充即可缓存 53k tokens。 作者开源了 qMLX fork 和基准测试脚本,并指出针对 Qwen 特有的混合注意力优化可能会导致与上游栈的分歧。