ntrillardは、KとVのキャッシュ値のフーリエ振幅スペクトルを4ビットに量子化し、位相をフル精度で保持することで、Gemma-3-1Bにおいてfp16基準に対して96.9%のトークン一致率を実現し、標準的なmin-max量子化と比較して5〜10倍の改善を示したことを実証している。

  • Fmag4（4ビット振幅＋フル精度位相）は、bf16と比較して96.9%のトークン一致率と62%のメモリ削減を実現する。
  • 標準的な4ビット量子化では、同じプロンプトに対して54.9%のトークン一致率しか達成できない。
  • この手法により、Qwen2.5-7Bにおいて10GBのGPU上で総メモリ予算を増やさずに最大コンテキスト長を68Kから137Kに2倍にできる。
  • 位相は構造的情報の主要な担い手であり、振幅スペクトルは滑らかで圧縮可能であることが特定された。

このアプローチにより、ユーザーはフーリエ変換を活用してより効率的なKVキャッシュストレージを実現し、固定されたハードウェア制約内でコンテキストウィンドウを大幅に拡張できる。