研究者らは、拡散トランスフォーマー（DiTs）の高い推論コストに対処するために設計されたデータ非依存の重み・活性化量子化器であるOrbitQuantを発表した。この手法は、ランダムに置換されたブロック・ハルマード回転を用いた正規化・回転基底での量子化により、範囲推定を回避する。

  • 単一のLloyd-Maxコードブックが、与えられた入力次元に対してすべてのタイムステップ、プロンプト、層で共有される。
  • 重み行はオフラインで拡張され、回転を吸収し、線形層内でそれを打ち消すため、ランタイムでは前方活性化の回転のみが残る。
  • このアプローチは、各モダリティごとのチューニングを必要とせずに、画像から動画へ転送可能である。
  • FLUX.1、Z-Image-Turbo、Wan 2.1、CogVideoX acrossでポストトレーニング量子化の最先端を樹立している。

この技術は、使用可能な生成品質を維持しながら、画像拡散トランスフォーマーのPTQをW2A4へと押し上げている。