Исследователи представляют JoLT, метод сжатия ключ-значения (KV) кэша в инференсе трансформеров, рассматривая его как тензор третьего порядка. Подход применяет частичное тукеровское разложение по осям токенов и признаков, используя вращённые остаточные значения низкого битного разряда Джонасона-Линденстрауса для восстановления энергии, потерянной при усечении.

  • Единый двойственный лагранжев множитель распределяет ранги Тукера и битную ширину остатков для каждой группы слоёв в рамках единого бюджета в один байт.
  • JoLT достигает сжатия 2-3x при этом перплексия, точность GSM8K и извлечение RULER остаются в пределах статистической погрешности несжатого базового уровня на Mistral-7B-v0.3 и LLaMA-2-13B.
  • При сжатии 2x относительная ошибка Фробениуса составляет 0.009 для ключей и 0.006 для значений, что на порядок ниже, чем у межслойного SVD и 4-битного квантования.
  • Вариант с рандомизированным SVD под названием FlashJoLT обеспечивает ускорение времени сжатия в 5-13x при сопоставимом качестве.

Этот метод решает проблему доминирующей стоимости памяти инференса трансформеров, значительно уменьшая размер KV-кэша без ухудшения производительности модели.