Исследователи представляют OrbitQuant, квантователь весов и активаций, не зависящий от данных, предназначенный для решения проблемы высоких затрат на инференс диффузионных трансформеров (DiTs). Метод обходит оценку диапазона путем квантования в нормализованном повернутом базисе с использованием случайной переставленной блочной ротации Хадамара.
- Единый кодбук Ллойда-Макса обслуживает все временные шаги, подсказки и слои для заданного входного измерения.
- Строки весов расширяются офлайн, чтобы поглотить ротацию, отменяя её внутри линейных слоев, так что на этапе выполнения остается только ротация активаций прямого прохода.
- Подход переносится с изображений на видео без необходимости настройки для каждой модальности.
- Он устанавливает состояние искусства для постобучающего квантования (PTQ) в моделях FLUX.1, Z-Image-Turbo, Wan 2.1 и CogVideoX.
Техника продвигает PTQ диффузионных трансформеров изображений до W2A4, сохраняя при этом приемлемое качество генерации.