OrbitQuant est un quantificateur poids-activation agnostique aux données conçu pour réduire les coûts d'inférence des transformateurs de diffusion (DiTs) en contournant le besoin de données de calibration par point de contrôle. Il quantifie dans une base normale et rotative utilisant une rotation de Hadamard par blocs permutée aléatoirement, permettant à un seul codebook Lloyd-Max de servir tous les pas de temps, invites et couches.
- La méthode s'étend aux lignes de poids hors ligne, absorbant la rotation dans les poids afin qu'il ne reste qu'une rotation avant sur les activations au moment de l'exécution.
- Il transfère de la génération d'images à celle de vidéos sans aucun réglage par modalité requis.
- OrbitQuant établit l'état de l'art pour la quantification post-entraînement (PTQ) sur FLUX.1, Z-Image-Turbo, Wan 2.1 et CogVideoX.
- Il repousse la PTQ des transformateurs de diffusion d'images à W2A4 tout en maintenant une qualité de génération utilisable.
Cette approche fournit une solution unifiée pour la quantification bas débit sur différentes modalités sans la surcharge de recalibrage des données pour chaque nouveau point de contrôle ou type d'entrée.