Multiverse Computing은 압축된 양자화된 대형 언어 모델을 원래의 사전 압축 교사 모델에서 직접 증류하는 방법인 양자화 인식 치유(Quantization-Aware Healing, QAH)를 소개합니다. 120B 모델인 GPT-OSS를 60B 매개변수로 압축하고 MXFP4로 양자화한 모델에 적용한 결과, 이 접근법은 9개 벤치마크 중 7개에서 자체 풀정밀 bfloat16 버전보다 더 나은 성능을 보입니다.

  • QAH 모델은 LiveCodeBench(66.5 vs. 66.0)에서 원래의 120B 교사 모델을 능가하며, 긴 문맥 추론(AA-LCR에서 +7.4)과 수학(AIME 2025에서 +5.6)에서 큰 성능 향상을 달성합니다.
  • 양자화 인식 학습(QAT)과 비교할 때 QAH는 약 100단계 만에 최고 성능에 도달하여 약 7배 더 빠르며, QAT에서 700번째 단계 이후 발생하는 급격한 정확도 붕괴를 피합니다.
  • 이 방법은 메모리 효율적인 청킹된 KL 발산 손실을 사용하여 전체 어휘-시퀀스 그리드를 materialize하지 않고 최대 32k 토큰까지 긴 문맥 치유를 처리합니다.

이 기술은 압축된 모델이 비압축된 대응 모델보다 더 작고, 서비스 비용이 저렴하며, 더 정확하도록 하여 효율성과 능력 사이의 일반적인 트레이드오프를 효과적으로 역전시킵니다.