ntrillard는 K와 V 캐시 값의 푸리에 크기 스펙트럼을 4비트로 양자화하고 위상은 완전 정밀도로 유지할 때, Gemma-3-1B에서 fp16 기준 대비 96.9% 토큰 일치율을 달성하며 표준 min-max 양자화 대비 5-10배 개선된다고 보여줍니다.

  • Fmag4 (4비트 크기 + 완전 정밀도 위상)는 bf16 대비 96.9% 토큰 일치율과 62% 메모리 절감을 제공합니다.
  • 표준 4비트 양자화는 동일한 프롬프트에서 54.9% 토큰 일치율만 달성합니다.
  • 이 방법은 총 메모리 예산을 늘리지 않고 10GB GPU에서 Qwen2.5-7B의 최대 컨텍스트 길이를 68K에서 137K로 두 배로 늘립니다.
  • 위상이 구조적 정보의 주요 운반체로 확인되었으며, 크기 스펙트럼은 매끄럽고 압축 가능합니다.

이 접근 방식은 푸리에 변환을 활용하여 고정된 하드웨어 제약 내에서 컨텍스트 창을 크게 확장할 수 있게 합니다.