研究者らは、トランスフォーマー推論におけるキーバリュー（KV）キャッシュを3階テンソルとして扱い、これを圧縮する手法であるJoLTを発表した。このアプローチは、トークン軸と特徴軸に部分的なタルカー分解を適用し、切り捨て時に失われたエネルギーを回復するためにJohnson-Lindenstrauss回転低ビット残差を使用する。

  • 単一のラグランジュ双対が、1バイトの予算制約下で層グループごとにタルカーランクと残差ビット幅を割り当てる。
  • JoLTは2〜3倍の圧縮を実現し、Mistral-7B-v0.3およびLLaMA-2-13Bにおいて、パープレキシティ、GSM8K精度、RULER検索が非圧縮ベースラインの統計的ノイズ範囲内に留まる。
  • 2倍圧縮時、キーに対する相対フロベニウス誤差は0.009、バリューに対しては0.006であり、これは層間SVDや4ビット量子化よりも1桁低い。
  • FlashJoLTという名前のランダムized-SVDバリアントは、同等の品質で5〜13倍の圧縮時間短縮を提供する。

この手法は、モデルのパフォーマンスを低下させることなくKVキャッシュサイズを大幅に削減することで、トランスフォーマー推論における支配的なメモリコストに対処する。