大学のHPCクラスターがQwen3.6の量子化をベンチマークしたところ、知識スコアは安定している一方で、低精度フォーマットはエージェント能力を著しく低下させることが判明した。

  • GPQA Diamondの結果は、異なる量子化レベル間で最小限の変動を示した。
  • Terminal-Bench 2スコアは、低精度の量子化で顕著な後退を示した。
  • 結果はQwenの公式FP8ベンチマークよりも低い値となった。これはタイムアウト設定が短いためである（10分〜1時間 vs. 3時間）。
  • 複数回のランにより、大きなスコア変動が明らかになった。高精度での悪い実行が、低精度での良い実行より劣る場合がある。

これらの知見は、エージェントタスクと知識保持における量子化のトレードオフを理解するのに役立つ。