研究人员引入了JoLT，这是一种通过将键值（KV）缓存视为三阶张量来压缩Transformer推理中KV缓存的方法。该方法对标记和特征轴应用部分Tucker分解，同时使用Johnson-Lindenstrauss旋转的低比特残差来恢复截断过程中损失的能量。

  • 单个拉格朗日对偶在一个字节的预算下为每个层组分配Tucker秩和残差位宽。
  • JoLT实现了2-3倍的压缩，在Mistral-7B-v0.3和LLaMA-2-13B上，困惑度、GSM8K准确率和RULER检索结果保持在未压缩基线的统计噪声范围内。
  • 在2倍压缩下，键的相对Frobenius误差为0.009，值的相对Frobenius误差为0.006，比跨层SVD和4位量化低一个数量级。
  • 名为FlashJoLT的随机SVD变体在保持质量匹配的情况下，将压缩时间加速了5-13倍。

该方法通过显著减小KV缓存大小而不降低模型性能，解决了Transformer推理中占主导地位的内存成本问题。