O OrbitQuant é um quantizador de pesos e ativações independente de dados projetado para reduzir os custos de inferência em transformadores de difusão (DiTs) ao contornar a necessidade de dados de calibração por cada checkpoint. Ele quantiza em uma base normalizada e rotacionada usando rotação de Hadamard de blocos permutados aleatórios, permitindo que um único codebook Lloyd-Max sirva para todos os passos de tempo, prompts e camadas.
- O método se estende às linhas de pesos offline, absorvendo a rotação nos pesos de modo que apenas uma rotação direta nas ativações permaneça no runtime.
- Ele é transferido da geração de imagem para a de vídeo sem necessidade de ajuste por modalidade.
- O OrbitQuant estabelece o estado da arte para quantização pós-treinamento (PTQ) em FLUX.1, Z-Image-Turbo, Wan 2.1 e CogVideoX.
- Ele impulsiona a PTQ de transformadores de difusão de imagem para W2A4 enquanto mantém uma qualidade de geração utilizável.
Esta abordagem fornece uma solução unificada para quantização de baixo bit em diferentes modalidades sem a sobrecarga de reajustar os dados de calibração para cada novo checkpoint ou tipo de entrada.