본 논문은 극저비트 대규모 언어 모델 가중치 압축을 위해 설계된 코드북 프리 프레임워크인 BiSCo-LLM을 제시합니다. 이는 명시적인 코드북과 인덱스 룩업을 제거하면서도 표현 용량을 유지하여 기존 방법의 한계를 해결합니다.
- 로컬 가중치 청크는 단위 초구面上에 매핑되고 주요 페이로드로서 비트 패킹된 부호 스트림을 사용하여 컴팩트한 구면 코드로 이진화됩니다.
- 잔차 BSQ 단계는 저장된 코드북 없이 명시적인 레이트-왜곡 경로를 제공하기 위해 재구성 오차를 인코딩합니다.
- Transformer 모듈 카테고리를 교체한 후, 로컬 가중치 재구성과 모델 동작 간의 불일치를 줄이기 위해 카테고리별 복구 증류가 적용됩니다.
- 8비트 보호 채널 경로는 민감한 채널을 안정화하며 BSQ 페이로드와 별도로 계산됩니다.
이 프레임워크는 이진 코드, 뉴럴 디코더, 보호 채널 페이로드, LoRA 어댑터 및 메타데이터를 포함하는 저장소 할당량을 제공합니다.