OrbitQuant es un cuantizador de pesos y activaciones independiente de los datos diseñado para reducir los costos de inferencia en transformadores de difusión (DiTs) al evitar la necesidad de datos de calibración por cada punto de control. Cuantiza en una base normalizada y rotada utilizando una rotación de Hadamard de bloques permutados aleatorios, permitiendo que un único códigobook Lloyd-Max sirva para todos los pasos de tiempo, prompts y capas.
- El método se extiende a las filas de pesos fuera de línea, absorbiendo la rotación en los pesos de modo que solo queda una rotación directa sobre las activaciones en tiempo de ejecución.
- Se transfiere de la generación de imágenes a la de video sin necesidad de ajuste por modalidad.
- OrbitQuant establece el estado del arte para la cuantización post-entrenamiento (PTQ) en FLUX.1, Z-Image-Turbo, Wan 2.1 y CogVideoX.
- Empuja la PTQ de transformadores de difusión de imágenes a W2A4 mientras mantiene una calidad de generación utilizable.
Este enfoque proporciona una solución unificada para la cuantización de bajo bit en diferentes modalidades sin la sobrecarga de reajustar los datos de calibración para cada nuevo punto de control o tipo de entrada.