가변 비트 폭 양자화(VBQ)는 더 크지만 작은 언어 모델을 위해 그룹별 정밀도를 학습합니다

연구자들은 Variable Bit-width Quantization (VBQ)를 소개했습니다. 이는 훈련 시 방법론으로, 연속된 64개 가중치 그룹 각각이 Gumbel-Softmax 완화 기법을 통해 {1,2,4,8} 비트 중 자신의 해상도를 학습합니다. VBQ는 개별 투영 유형 내에서 일관되고 강하게 이질적인 할당을 발견하여, "더 크지만 작은" 레짐을 가능하게 하고 바이트당 품질을 향상시킵니다.

• 가중치 그룹의 69%가 1비트로 수렴하는 반면, 첫 번째 MLP 블록은 약 2.5비트를 유지합니다.
• 평균 1.82비트의 131M 모델은 TinyStories에서 55M FP16 모델을 능가하며 저장 공간은 3.8배 적습니다.
• VBQ는 바이트당 품질 지표에서 FP16보다 3.9~8.4배 더 효율적입니다.
• 커스텀 융합 역양자화 및 곱셈 커널이 추론을 가속화하여, Apple silicon 위에서 9B 파라미터 기준 최대 4.7배 속도 향상을 달성합니다.

VBQ는 정밀도를 학습 가능하고 균일하지 않은 리소스로 재정의하며, 고정된 비트 예산을 불균등하게 사용하는 것이 균일 할당보다 우수함을 보여줍니다.