연구자들은 트랜스포머 추론에서 키-값(KV) 캐시를 3차 텐서로 취급하여 압축하는 방법인 JoLT를 소개했습니다. 이 접근법은 토큰 및 특징 축에 부분 터커 분해를 적용하고, 잘려나간 동안 손실된 에너지를 복원하기 위해 존슨-린드그라uss 회전 저비트 잔류를 사용합니다.

  • 단일 라그랑주 쌍대는 1바이트 예산 하에서 레이어 그룹별로 터커 랭크와 잔류 비트 폭을 할당합니다.
  • JoLT는 2-3배 압축을 달성하며, Mistral-7B-v0.3 및 LLaMA-2-13B에서 퍼플렉시티, GSM8K 정확도, RULER 검색이 비압축 기준선의 통계적 노이즈 범위 내에 머뭅니다.
  • 2배 압축 시 키에 대한 상대 후베니우스 오차는 0.009, 값에 대해서는 0.006으로, 교차 레이어 SVD 및 4비트 양자화보다 한 자리수 낮습니다.
  • FlashJoLT라는 이름의 무작위화된-SVD 변형은 동일한 품질에서 5-13배 압축 시간 속도를 제공합니다.

이 방법은 모델 성능을 저하시키지 않고 KV 캐시 크기를 크게 줄여 트랜스포머 추론의 지배적인 메모리 비용을 해결합니다.