Un développeur exécutant Qwen3.5-122B sur un Mac Studio M3 Ultra a identifié trois bogues spécifiques dans la pile de service qMLX qui causaient une latence sévère lors du codage agentique à long contexte.
Les problèmes comprenaient l'instabilité des prompts brisant la correspondance du cache KV, les réponses en streaming interrompues causant une divergence de l'historique, et un empoisonnement des checkpoints déclenchant une éviction agressive.
La correction de ces bogues a réduit le temps de préremplissage (prefill) de plusieurs minutes à moins d'une seconde, permettant de mettre en cache 53k tokens avec seulement 33 tokens préremplis. L'auteur a open-sourcé la fork qMLX et un script de benchmark, notant que les optimisations d'attention hybride spécifiques à Qwen entraîneront probablement une divergence par rapport aux piles amont.