멀티버스 컴퓨팅은 오프라인 top-K 로짓 캐싱과 융합 청크형 켈러백-라이블러(KL) 발산 손실을 결합하여 대규모 언어 모델 지식 증류를 위한 메모리 효율적인 접근 방식을 소개합니다. 이 방법은 교사와 학생 모델을 동시에 메모리에 유지할 필요성을 제거하여 VRAM 요구 사항을 대폭 줄입니다.

  • 시스템은 교사의 top-100 로짓을 한 번 캐시하여 훈련 중 교사 모델을 메모리에서 제거할 수 있습니다.
  • 융합 청크형 KL 손실은 시퀀스를 청크로 처리하여 전체 어휘-시퀀스 행렬의 materialization을 피합니다.
  • 32K 토큰 컨텍스트의 최대 VRAM은 85.2 GiB에서 5.45 GiB로 감소하여 15.6배 절감됩니다.
  • 32,768 토큰에서 GPT-OSS 20B를 증류하면 하드웨어 요구 사항이 4개 GPU 노드에서 1개로 줄어들고 처리량이 345.7 TFLOP/s로 증가합니다.

이러한 변경 사항은 단일 GPU에서 긴 컨텍스트 증류를 실용적으로 만들어 저렴한 대규모 실험과 모델 압축을 가능하게 합니다.