OrbitQuant는 체크포인트별 교정 데이터의 필요성을 우회하여 확산 트랜스포머(DiTs)의 추론 비용을 줄이기 위해 설계된 데이터 비종속 가중치-활성화 양자기입니다. 무작위로 순열된 블록-하다마르드 회전을 사용하여 정규화된 회전 기저에서 양자화하며, 단일 로이드맥스 코드북이 모든 타임스텝, 프롬프트 및 레이어를 처리할 수 있습니다.
- 이 방법은 오프라인에서 가중치 행에 확장되며, 회전이 가중치에 흡수되어 런타임에는 활성화에 대한 순방향 회전만 남습니다.
- 각 모달리티별 튜닝 없이 이미지에서 비디오 생성으로 이전됩니다.
- OrbitQuant는 FLUX.1, Z-Image-Turbo, Wan 2.1, CogVideoX 전반의 사후 훈련 양자화(PTQ)에 대한 최첨단 성능을 설정합니다.
- 사용 가능한 생성 품질을 유지하면서 이미지 확산 트랜스포머의 PTQ를 W2A4로 끌어올립니다.
이 접근 방식은 새로운 체크포인트나 입력 유형마다 교정 데이터를 다시 피팅하는 오버헤드 없이 서로 다른 모달리티 전반에 걸쳐 저비트 양자화를 위한 통합 솔루션을 제공합니다.