研究人员提出了 OrbitQuant，这是一种数据无关的权重-激活量化器，旨在解决扩散 Transformer (DiTs) 的高推理成本问题。该方法通过使用随机置换的分块 Hadamard 旋转，在归一化、旋转基上进行量化，从而绕过范围估计。

  • 单个 Lloyd-Max 码本服务于给定输入维度的所有时间步、提示和层。
  • 权重行离线扩展以吸收旋转，在线性层内抵消它，使得运行时仅保留前向激活旋转。
  • 该方法从图像到视频的迁移无需针对每种模态进行微调。
  • 它在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 上确立了后训练量化 (PTQ) 的最先进状态。

该技术将图像扩散 Transformer 的 PTQ 推至 W2A4，同时保持可用的生成质量。