개발자 liventruth는 표준 FP32 키-값 캐시를 유한 스칼라 양자화(FSQ)를 사용하여 16차원 이산 잠재 공간으로 압축하는 하드웨어-소프트웨어 공동 설계 아키텍처인 Unified Latent-State Memory Fabric(UL-SMF)를 오픈소스로 공개했습니다.

  • 384x의 압축 비율을 달성하여 48 MB 크기의 FP32 블록을 0.12 MB로 줄입니다.
  • 실제 LLM 어텐션 텐서에서 의미 보존을 위해 94.15% - 95.84%의 코사인 유사도를 유지합니다.
  • 엔드투엔드 CUDA 이벤트 검증에서 약 14.1 ms에서 19.6 ms의 파이프라인 지연 시간을 보여줍니다.
  • 사용자가 두 줄의 코드만으로 표준 Transformer 어텐션 레이어에 monkey-patch를 적용할 수 있는 자체 완결형 Python 패키지를 제공합니다.

UL-SMF는 FSQ와 동적 잠재 매핑을 결합하여 긴 컨텍스트 Transformer 추론의 메모리 병목 현상을 해결하는 것을 목표로 하며, AGPLv3 라이선스와 상업용 옵션이 모두 제공됩니다.