M3 Ultra Mac StudioでQwen3.5-122Bを実行している開発者は、長いコンテキストのエージェント型コーディング中に深刻なレイテンシを引き起こしたqMLXサービングスタック内の3つの特定の不具合を特定しました。
これらの問題には、KVキャッシュマッチングを破綻させるプロンプトの不安定性、履歴の分岐を引き起こすストリーミング応答の中断、そして積極的な_eviction_(データ削除)をトリガーするチェックポイントの汚染が含まれていました。
これらのバグを修正することで、prefill時間が数分からサブ秒に短縮され、33トークンしかprefillされていないにもかかわらず53kトークンをキャッシュできるようになりました。 著者はqMLXのフォークとベンチマークスクリプトをオープンソース化し、Qwen固有のハイブリッドアテンション最適化がアップストリームスタックとの分岐を引き起こす可能性が高いことに言及しています。