Los investigadores presentan OrbitQuant, un cuantizador de pesos y activaciones independiente de los datos diseñado para abordar los altos costos de inferencia de los transformadores de difusión (DiTs). El método evita la estimación del rango mediante la cuantización en una base normalizada y rotada utilizando una rotación de Hadamard en bloques permutados aleatorios.
- Un único codebook Lloyd-Max sirve para todos los pasos de tiempo, prompts y capas para una dimensión de entrada dada.
- Las filas de pesos se extienden fuera de línea para absorber la rotación, cancelándola dentro de las capas lineales para que solo quede la rotación de activaciones hacia adelante en el momento de ejecución.
- El enfoque se transfiere de imágenes a video sin necesidad de ajuste por modalidad.
- Establece el estado del arte para la cuantización post-entrenamiento (PTQ) en FLUX.1, Z-Image-Turbo, Wan 2.1 y CogVideoX.
La técnica impulsa la PTQ de transformadores de difusión de imágenes a W2A4 mientras mantiene una calidad de generación utilizable.