연구자들은 확산 트랜스포머(DiTs)의 높은 추론 비용을 해결하도록 설계된 데이터 비종속 가중치-활성화 양자기인 OrbitQuant를 제시했습니다. 이 방법은 무작위로 순열된 블록 하다마르드 회전을 사용하여 정규화된 회전 기저에서 양자화함으로써 범위 추정을 우회합니다.

  • 단일 Lloyd-Max 코드북은 주어진 입력 차원에 대해 모든 타임스텝, 프롬프트 및 레이어를 담당합니다.
  • 가중치 행은 오프라인에서 확장되어 회전을 흡수하고 선형 레이어 내부에서 이를 상쇄하므로 런타임에는 순방향 활성화 회전만 남습니다.
  • 이 접근 방식은 각 모달리티별 튜닝 없이 이미지에서 비디오로 이전됩니다.
  • FLUX.1, Z-Image-Turbo, Wan 2.1, CogVideoX에 걸쳐 사후 학습 양자화에서 최첨단 성능을 달성했습니다.

이 기법은 사용 가능한 생성 품질을 유지하면서 이미지 확산 트랜스포머의 PTQ를 W2A4로 끌어올립니다.