Pesquisadores apresentam o OrbitQuant, um quantizador de pesos e ativações agnóstico a dados projetado para abordar os altos custos de inferência dos transformadores de difusão (DiTs). O método contorna a estimativa de faixa ao quantizar em uma base normalizada e rotacionada usando uma rotação de Hadamard em blocos permutados aleatoriamente.
- Um único codebook Lloyd-Max serve para todos os passos de tempo, prompts e camadas para uma dimensão de entrada dada.
- As linhas de pesos são estendidas offline para absorver a rotação, cancelando-a dentro das camadas lineares para que apenas a rotação de ativação forward permaneça no runtime.
- A abordagem é transferida de imagem para vídeo sem necessidade de ajuste por modalidade.
- Ele estabelece o estado da arte para quantização pós-treinamento (PTQ) em FLUX.1, Z-Image-Turbo, Wan 2.1 e CogVideoX.
A técnica empurra a PTQ de transformadores de difusão de imagem para W2A4 enquanto mantém uma qualidade de geração utilizável.