あるRedditユーザーは、Q8_0量子化を使用する場合のQwen 3.6 27Bモデルの最大信頼できるコンテキストウィンドウ長について問い合わせています。

  • ユーザーは現在100kのコンテキスト長で動作していますが、結果に満足していないと報告しています。
  • KVキャッシュ量子化を避けることに加えて、より長いコンテキストでの安定性を向上させる方法を求めています。