OrbitQuant 实现图像和视频扩散 Transformer 的数据无关量化

OrbitQuant 是一种数据无关的权重-激活量化器，旨在通过绕过每个检查点校准数据的需求，降低扩散 Transformer（DiTs）的推理成本。它使用随机置换块哈达玛旋转在归一化、旋转基上进行量化，使得单个 Lloyd-Max 码本可以服务于所有时间步、提示词和层。

• 该方法离线扩展到权重行，将旋转吸收进权重中，因此在运行时仅保留对激活值的正向旋转。
• 它从图像生成转移到视频生成，无需针对每种模态进行微调。
• OrbitQuant 在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 上确立了后训练量化（PTQ）的最先进状态。
• 它将图像扩散 Transformer 的 PTQ 推至 W2A4，同时保持可用的生成质量。

这种方法为不同模态的低比特量化提供了一体化解决方案，无需为每个新检查点或输入类型重新拟合校准数据。