OrbitQuantは、チェックポイントごとの校正データへの依存を回避することで、拡散トランスフォーマー（DiTs）の推論コストを削減するために設計されたデータ非依存の重み・活性化量子化器です。ランダムに置換されたブロック・ハダマード回転を用いた正規化・回転基底で量子化を行い、単一のLloyd-Max符号表がすべてのタイムステップ、プロンプト、層に対応できます。

  • この手法はオフラインでの重み行にも拡張され、回転を重みに吸収するため、実行時には活性化に対する前方回転のみが残ります。
  • 各モダリティごとのチューニングを必要とすることなく、画像から動画生成へ転移可能です。
  • OrbitQuantはFLUX.1、Z-Image-Turbo、Wan 2.1、CogVideoXにおけるポストトレーニング量子化（PTQ）の最先端を実現します。
  • 有用な生成品質を維持しつつ、画像拡散トランスフォーマーのPTQをW2A4まで押し上げます。

このアプローチは、新しいチェックポイントや入力タイプごとに校正データを再適合させるオーバーヘッドなしに、異なるモダリティ全体で低ビット量子化のための統一されたソリューションを提供します。