Les chercheurs présentent OrbitQuant, un quantificateur poids-activation agnostique aux données conçu pour répondre aux coûts d'inférence élevés des transformateurs de diffusion (DiTs). La méthode contourne l'estimation de plage en quantifiant dans une base normale et rotative utilisant une rotation de Hadamard par blocs permutée aléatoirement.
- Un seul codebook Lloyd-Max sert tous les timesteps, prompts et couches pour une dimension d'entrée donnée.
- Les lignes de poids sont étendues hors ligne pour absorber la rotation, l'annulant à l'intérieur des couches linéaires de sorte que seule la rotation d'activation avant reste au moment de l'exécution.
- L'approche se transfère de l'image à la vidéo sans aucun réglage par modalité requis.
- Elle établit l'état de l'art pour la quantification post-entraînement sur FLUX.1, Z-Image-Turbo, Wan 2.1 et CogVideoX.
La technique repousse la PTQ des transformateurs de diffusion d'images à W2A4 tout en maintenant une qualité de génération utilisable.